随着计算机技术的发展,人机交互技术也逐渐发展起来,而手势识别技术和增强现实技术,近年来受到了人们的广泛关注,也是人机交互技术未来一个重要的发展方向。本文从现有手势识别技术难以排除自身人脸干扰的不足点出发,考虑将摄像头的位置至于人手的后部,使摄像头的朝向和人眼观察事物的视角一致,从而避免手势操作过程中受人脸干扰而影响正常的手势指令。本文重点研究了基于头戴式摄像头的手势识别技术,在手势识别技术方面,主要研究了手势的分割,指尖检测以及静态手势识别。其中手势分割采用了基于YCrCb颜色空间的动态肤色分割算法与改进的帧间差分算法相结合的方式。这两种方式的结合能对实时视频中的手势具有很好的分割效果并且对类肤色物体具有较好的抗干扰性。指尖检测算法采用了基于多边形拟合和曲率以及重心距离法相结合的方式,并根据实际操作中手形的特点设定了一些剔除非指尖点的条件,最终得到指尖检测的平均准确率为92.4%。在静态手势识别中,定义了食指,拳头,手掌三种有效手形,并通过他们之间的有效组合,将手势命令转换为鼠标键盘控制信号,实现了光标移动、点击、双击、右击、放大、缩小、按键等操作。手势操作的平均成功率为92.57%。在以上手势识别的基础上,本文结合了增强现实技术,设计实现了一个可以使用手势和计算机虚拟人物进行实时交互的系统。可以用手势控制计算机虚拟人物的出现、消失、放大、缩小、移动、及舞动操作。该交互界面具有较好的交互体验,在实时视频中各手势交互指令平均准确率超过了90%。