近几年来,手势识别作为最方便、最直接的人机交互(Human-Computer Interaction,HCI)方式受到了各个领域的广泛关注,并且在虚拟现实、辅助汽车控制系统、手语识别以及个人可穿戴系统等诸多领域中发挥了重要作用。传统的手势识别技术通常基于传感器或者计算机视觉获取手势数据,然后人为地构造出特定的手势特征,并将其送入合适的分类器,以此识别出不同的手势类别。然而,传统的手势识别方法主要存在以下几点缺陷:一、设备昂贵且不方便携带。大多数基于传感器的手势识别方法对设备要求高,并且需要用户佩戴额外的设备,不利于推广。二、大多数基于计算机视觉的手势识别研究都是基于正常光照进行讨论,忽视了强光和弱光等非正常光照的影响,致使该类方法对光照的鲁棒性较差。三、特征具有主观性和局限性。传统方法需要人为构造手势特征,即特征选取依赖于个人经验。因此系统学习能力差,只能识别特定手势,且识别准确率较低。针对上述问题,本文将提出一种新的基于卷积神经网络的手势识别方法,其主要工作包括:1.本文重点研究了多维卷积神经网络(Multiple Dimensional Convolutional Neural Network,MD-CNN)在基于视频的动态手势识别系统中的应用,提出了高精度手势识别子系统。首先利用普通摄像头采集大量的手势视频数据,并将其表示成有序的图片序列,然后将表征相应手势的图片序列输入到MD-CNN进行训练以完成特征提取及手势分类过程。特别地,针对手势识别的具体问题,本文还对该网络提出了一系列改进算法,主要包括批量归一化算法、滑动平均算法以及自适应矩估计算法。实验表明,改进后的网络收敛速度更快,手势识别精度更高。2.为提高系统对光照的鲁棒性,本文在二维卷积神经网络(Two Dimensional Convolutional Neural Network,2D-CNN)的基础上提出了基于信道状态信息(Channel State Information,CSI)的手势识别方法,构造了强鲁棒性手势识别子系统。首先通过对CSI信号进行分析,从理论和实验上证明了动态路径长度变化与CSI信号的幅值存在相关性;然后对原始的CSI信号进行一系列预处理,主要是对手势的CSI幅值进行小波去噪;其次,将去噪后的CSI信号幅值转换为图像形式,并将其输入2D-CNN进行训练以提取手势特征并分类。3.本文提出了基于多源数据融合的高精度-强鲁棒性手势识别系统。首先,在离线阶段根据验证集确定两个手势识别子系统的权重系数;然后,在在线阶段对两个子系统的分类结果执行加权融合,从而得到最终的手势类别。结果表明,该方法能够有效地提高系统对光照的鲁棒性以及手势识别精度。