人体动作识别是计算机视觉领域的一个重要分支,目前被广泛研究。但是传统的人体动作识别方法,如支持向量机、隐马尔可夫和方向梯度直方图等,一般需要对数据进行复杂的预处理并且其识别精度还有待提升。随着深度学习技术的发展,通过建立人工神经网络,可以适当避免大多数复杂的预处理过程,能够自动“学习”到人体动作的有效特征并且识别精度相对较高。本文主要针对人体的静态动作和动态动作两方面分别建立深度学习模型。具体的研究工作如下:第一,在静态人体动作识别中,针对RGB图片背景的复杂度较高并且缺乏深度信息的问题,本文提出了M-CNN模型,将静态人体动作的RGB图像信息和骨骼点信息进行融合,利用骨骼点信息有效弥补了RGB图像信息在深度信息上的缺失,降低了图像背景复杂度对有效特征提取的影响。实验结果表明,融合骨骼点信息后,提高了静态人体动作识别的准确性。第二,在动态人体动作识别中,目前基于深度学习的方法多以视频帧作为输入,当分类一段长视频时,就需要将其分割成多个等长的短视频,分别提取特征或求均值等。该类方法不但降低了视频分类的精度,而且因视频背景复杂而加大了提取目标特征的难度,针对此类问题本文提出了DBLSTM-CM模型,以人体骨骼点的坐标序列作为输入,利用DBLSTM对基于时间序列的骨骼坐标点进行建模,提取动态人体动作的主要特征。为了有效地提取人体动作趋势的特征,在DBLSTM的基础上结合协方差矩阵(Covariance Matrix,简称CM),利用softmax分类器进行分类。实验结果表明,加入协方差矩阵后,DBLSTM-CM模型的准确率与DBLSTM模型的准确率相比有明显提升。图44幅,表6个,参考文献58篇。