人机交互是人与机器之间进行沟通的桥梁,在普适计算领域占据着非常重要的位置。手势是人们日常生活中比较直接的交流方式之一,实现利用手势与计算机进行交互,可以使人机交互过程更加自然和高效,因而手势识别技术成为近年来人机交互领域的研究热点之一。　　 任何一个动态手势都包含手部空间位置的变化以及自身姿态变化两个部分。要捕捉完整的手势运动序列,必须同步获取这两部分精确数据,目前的单一传感器都由于自身的限制,难以全面获取以上两部分运动序列数据。如:陀螺仪传感器对于手部自身姿态变化比较敏感,但对于手部空间位置变化(如平移等)不敏感。基于深度感知的摄像头虽然对手势空间位置变化敏感,但其对手部自身姿态变化(如翻腕等)不敏感。　　 为了更准确获取两部分动态数据进而识别动态手势,本文提出一种融合异构传感器(如深度摄像头和陀螺仪)的手势识别协同模型,该模型通过异构传感器从不同侧重点获取完整的手势运动数据,在融合异构传感器各自特点提取特征的基础上,通过加权特征融合分类,实现更准确识别手势的同时减少计算量的目的。具体而言,本协同模型可以分为三个模块:手势数据协同采集与分割,数据预处理和特征提取,特征层融合和分类识别。手势数据协同采集与分割模块中,可同步采集深度传感器和陀螺仪两种异构传感器数据,同时提出一种基于用户操作习惯的手势分割方法,从而获取手势运动的完整同步数据。在数据预处理和特征提取模块中,预处理实现了原始数据噪声的去除和手势数据长度的归一化,在特征提取部分,本文根据两种传感器的数据特点,分别提取出区分度较高的特征。在特征层融合和分类识别模块中,本模型选择特征层融合的方法,首先将两种传感器特征组成单一的特征向量,然后采取基于互信息的方法从这个特征向量中选择出最优特征子集,形成新的单一特征向量,再通过分类器进行识别。本文还通过分析选择出的特征向量子集中在达到最高识别精度时两种传感器特征数量的比例,对原始数据中两种传感器数据比例进行调整,进一步提高了识别精度。实验结果表明,本文提出的识别模型与直接特征层融合方法相比,不仅有效地提高了手势识别精度,同时减少了特征向量的维数,降低了计算复杂度。　　 最后本文设计并实现了一套手势识别及交互系统,实现了对0-9十个阿拉伯数字和26个小写英文字母准确识别,并利用陀螺仪传感器实现了空中无线鼠标功能,以此提高了系统的实用性,通过本系统可以实现自然远程上网冲浪等功能。