双人交互行为识别是计算机视觉领域重要的研究课题,其在智能视频监控、人机交互等领域具有广阔的应用前景。现有的大多数双人交互识别都是基于RGB视频来执行人的检测与跟踪及行为分析任务。RGB视频数据虽然可提供丰富的颜色和纹理信息,但是其捕获到的数据极易受到光照变化、形态、体态和遮挡等问题的影响,这些问题将严重制约检测与跟踪算法的鲁棒性和运算效率。与RGB视频信息相比,关节点数据信息具有特征明确简单、不易受外观因素影响的优点。微软Kinect体感摄像头可以结合骨骼跟踪技术实时获得人体关节点数据,并且几乎不受背景、光照的影响。本文针对基于关节点数据的双人交互行为识别展开深入研究:首先,针对基于RGB视频的双人交互行为识别方法,容易受光照变化、身体遮挡及环境变化影响的问题,提出了一种基于关节点数据的双人交互行为识别算法。引入三维人体姿态的HOJ3D(Histograms of 3D Joints)特征表示方法,并将其扩展到对双人交互行为的表述,该方法利用改进的球面坐标系将三维空间划分为n个空间,选择12个关节信息来构建一个紧凑的人体姿态表示。使用高斯函数将三维骨骼关节投票到邻近的空间中。利用关节点数据计算出每个动作执行人的HOJ3D特征,然后聚集成k个姿态视觉词典,代表动作的关键姿态。然后,利用HMM训练动作模型并进行识别。该算法充分利用了关节点数据信息,对微小的姿态变化具有较好的鲁棒性。针对基于传统方法的双人交互行为识别方法对于复杂的交互行为的识别准确率提升空间不大,且大多数识别算法将双人交互视作一个整体,没有很好的考虑个体之间的交互关系等问题,提出了基于HOJ3D特征与关节距离特征融合的双人交互行为识别算法。该方法分别对两个单人计算HOJ3D特征,再以双人为整体计算HOJ3D特征后进行拼接,形成新的HOJ3D特征表征空间信息,同时计算了双人的关节距离特征表征双人之间的交互信息。将两种特征图像化后分别送入卷积神经网络中进行融合和识别。该方法很好的避免原始数据的干扰,且构造的特征保留了大量的交互行为时空信息和交互信息,对复杂的双人交互行为取得了较好识别效果。最后,针对目前将关节点数据图像化后结合卷积神经网络进行识别不能有效建模视频时序关系的问题,提出了一种骨架图像序列的交互行为识别方法。首先计算单帧的关节点距离特征,然后每三帧归一量化为一张灰度图,再将得到的每个灰度图送入卷积神经网络中提取深度特征,最后将提取的深度特征送入长短时期记忆网络进行时序建模,完成对双人交互行为的识别,该方法充分利用了双人交互的空间和时间信息,对复杂的双人交互行为实现了准确识别。