随着人工智能学科的发展以及计算能力的提高,基于深度学习的人体行为识别研究已经成为热门的研究课题之一,同时也是非常有挑战性的研究难点。因为人体行为识别技术在人类社会生活中有着广泛的应用,所以开展人体行为识别研究有着很高的实用价值。现有的行为识别方法通常只采用图像或是骨架等单一模态的数据。图像或视频包含直观的场景信息,但容易受到光照、遮挡等影响。骨架节点数据表示人体关节点在视频帧中的三维坐标,包含骨架的空间结构信息和时序的动态信息,同时骨架节点数据可以很好地避免遮挡,以及复杂背景等干扰,但是骨架数据缺乏外观的细节信息。因此,图像和骨骼数据存在高度的互补性,本文从骨架和图像两种模态的数据来进行多视角特征学习,结合两种模态数据的互补信息,提高行为识别的准确率。根据图像和骨架两种数据的特点,分别研究适合两者数据特点的深度神经网络模型。对于连续的视频帧数据,由于视频可以分解为图像数据和光流数据,采用双流的卷积神经网络架构来提取视频的时空信息,但是传统的双流网络很难有效的学习到视频中人体的长时程时空特征。针对双流卷积神经网络的不足,本文研究了卷积递归融合方法。该方法利用递归神经网络对长序列视频帧建模,提取视频帧长时间的依赖关系,同时将卷积操作和递归神经网络架构相结合,对双流网络输出的时空特征进行融合,充分利用了图像和光流的互补性来学习视频中的长期人体动作特征。此外,本文还研究了了RNN注意力机制,让网络学习在不同的时刻把注意力集中在与人体行为相关的区域。对于骨架数据,图卷积网络更适合这种非欧数据的建模。人体关节点之间相互连接成了一个不规则的无向图,图卷积网络能够提取和结合人体关键点序列空间局部特征的和时序特征。为了使算法在捕捉行为视频长期人体动作特征的同时也能够结合姿态关节点信息,提高算法的识别准确率,本文提出了一种对骨架和图像数据进行特征学习的高效的双流网络。由于对大规模神经网络进行端到端的训练存在参数巨大,难以训练收敛的问题,本文首先各自对卷积递归融合网络和图卷积网络进行训练,最后将两者的得分进行融合,以降低网络训练和调参的难度,从而实现对整体精度的提升。使用UCF101和HMDB51两个行为识别数据库对本文方法进行测试,与目前主流的视频行为识别进行了对比,验证了本文方法的有效性