近年来,随着深度学习技术的发展,基于计算机视觉的动态手势识别也有了一些突破性的进展。目前,主流的动态手势识别方法主要通过视觉来完成,通过对手势视频卷积运算实现时空特征提取,但是相较于单幅图像卷积计算,动态手势的多帧图像卷积运算数据量更庞大,提取特征更复杂,网络参数更多,进而影响到模型的识别效率和实时性。因此,开展基于深度学习的动态手势识别具有重要研究意义。针对上述问题,基于3D卷积神经网络,结合注意力机制和视频关键帧提取算法,开展双模态信息融合的动态手势识别方法研究。主要研究内容如下:（1）基于Kinect的动态手势数据库的建立。通过Kinect的相关内置参数矩阵,统一深度相机和彩色相机的空间坐标系,保证相机采集的彩色与深度图像坐标一致。利用Kinect获得动态手势的彩色和深度图像,构建动态手势数据库。（2）基于深度学习的视频手势定位。针对视频中动作手势起止帧难以确定的问题,通过改进Faster-RCNN的锚框生成方法和ROI池化方法,实现视频手势动作的时间区间的分类和回归,实现对视频序列中动态手势时间区间的定位检测。（3）基于三维卷积神经网络的动态手势识别。基于CBAM-C3D构建了动态手势识别模型,实现动作手势的识别任务。同时使用关键帧提取技术、多模态联合训练和BN层优化等系列操作来提高网络的性能。本文所提出的结合注意力机制的3D卷积神经网络在自建手势数据集上达到86.41%的识别准确率,相对于目前主流的动作分类方法有明显提高,验证本文算法的有效性。