二十一世纪的今天正处在新一轮人工智能浪潮的上升期,人工智能的普及给我们带来的便利不言而喻。人机交互技术在人工智能领域扮演着至关重要的角色,而人脸、手势以及肢体是基于视觉的人机交互方式中最常用的信息,其中手势交互凭借其便捷的操作和灵活的表达,受到众多研究者的青睐。由于实际应用中手势识别需要较高的实时性以及准确率,因此如何高效准确的识别手势成为人机交互中研究的关键。本文从静态与动态手势两个方面展开研究,主要工作内容如下:1)基于目前目标检测算法在静态手势识别中的广泛应用,以及对卷积神经网络高效准确的识别要求,提出以Center Net模型为基础进行改进的静态手势识别算法。通过设置不同数目及大小的非局部模块解决普通卷积方式仅关注局部信息的问题,提高网络获取全局信息的能力;利用深度可分离卷积改进模型中的残差网络,有效减少网络的计算量,优化网络结构;针对低显环境下小批量学习不准确的问题,提出采用组规范化代替批量规范化的改造方案。实验表明,改造后的Center Net算法能够有效的提高网络对手势模型的泛化能力,其手势的识别率与原网络相比提高了4.9%,检测时间也减少了0.005s。2)针对目前几种常用采样方法中关键帧提取不准确的问题,提出一种基于光流法的视频关键帧提取方法,该方法通过对比目标的变化剧烈程度来提取每段视频中的关键帧,进而组成标准的动态手势视频序列。除此之外,为了避免训练过程中出现过拟合的问题对数据集进行了扩展。实验表明,光流法能够有效的从视频中提取到带有运动信息的关键帧,对手势的识别准确率上有明显的提升作用。3)利用多种数据融合的方式提高目标识别精度已经成为人体动作识别中比较常用的方法。但目前主流的几种融合方式,其结果都只是对多种模态数据的堆叠,对手势识别率的提升效果并不明显。因此,本文结合RGB、Depth以及光流数据,提出一种以C3D网络模型为基础的多模态数据联合训练的方法,首先利用C3D卷积神经网络获取RGB数据的训练模型,然后再将Depth以及光流数据分别在得到的RGB训练模型上进行微调,得到各自模态数据的训练模型。经过实验证明,该训练方式不仅能够提高手势的识别准确率还可以加快Depth和光流数据训练过程中的收敛速度。