论文部分内容阅读
随着计算机性能的不断提升和各领域对计算机使用的不断深入,人机交互技术也越来越受到重视,传统的基于鼠标和键盘的人机交互方式也越来越显示出它的局限性。而触摸屏技术可以完全摆脱鼠标和键盘,为人们提供方便快捷的服务,但是目前的触摸屏技术都是以硬件为基础的,容易受到电子元件的性能所影响,并且应用成本较高。计算机视觉跟踪技术已经能够保证对目标进行实时跟踪,为视觉人机交互技术奠定了坚实的基础。视觉人机交互接口允许操作者在不直接接触输入设备的情况下进行相应的输入控制。因此基于视觉的触摸屏技术的研究,具有广阔的应用前景,是未来新一代输入接口的发展方向。本文主要研究在静态背景下,通过单只摄像头采集手指信息,获取触点信息,模拟硬件触摸屏,并完成单击、压按以及触摸移动三种交互动作。本文采用两种方案对基于单目视觉的触摸屏技术进行了初步研究并提出了基于单目视觉的目标深度信息提取算法。一种是通过颜色标记指尖所在的位置,并利用改进CamShift算法进行跟踪,通过算法搜索框的变化规律提取手指的深度信息,判断触摸状态,并利用触摸信息和移动信息来完成三种动作的实现;另一种方法是通过对人手进行肤色分割,轮廓提取以及指尖识别等过程,并进行轮廓优化组成新轮廓,并根据轮廓包含区域所占的视频区域比例变化规律来获得深度信息,从而得到触点信息,并结合移动信息来完成三种动作。最后分别利用三个应用程序来测试三种动作的完成情况,测试结果显示,实验结果基本上达到预期效果,但是同时也存在一些不足,如跟踪精度还不够高,深度信息提取准确度还有待加强等等。