视频中的人体动作识别，已经成为计算机视觉和模式识别领域中最具研究价值的课题之一。它在视频监控、视频检索、手势识别、人机交互以及体育赛事分析等领域中都有着广泛的应用前景和巨大的市场需求。尽管计算机视觉研究工作者做出了大量的努力，但人体动作识别仍然是一个极具挑战性的课题。这是因为在现实世界中，由于动作执行者的成像尺寸差异、动作执行时人的外观和姿势差异导致动作识别具有一定的复杂性。此外，动作识别还有类内和类间差异、背景物体遮挡、光照变化、阴影和相机移动等多种因素的影响。　　本文围绕视频中人体动作识别的关键问题，针对不同的视频源（RGB彩色视频和Depth深度视频），分别提出了新的人体动作识别方法，具体研究内容如下:　　第一，提出了一种基于多核学习的特征融合方法进行动作识别。现有的RGB彩色视频中人体动作识别方法将动作表示为时空兴趣点的行为，从视频中检测时空兴趣点并使用基于外观的描述符进行描述。新方法是从多个时间尺度积累的兴趣点云提取整体特征。由于所提出的时空分布兴趣点云Clouds of Points(COP)表示包含了与传统词袋Bag of Words(BOW)表示不同但互补的信息，因此我们制定了一种基于多核学习方法，对不同的特征进行优化并分配不同的权重进行重新组合。使用KTH和WEIZMANN数据集进行的实验表明，我们的方法胜过了大多数现有的方法。　　第二，针对传统的RGB彩色视频中三维信息不足的问题，本文提出了一种新的基于深度视频序列的动作识别算法。该算法将深度视频序列中的每个视频帧投影到三个正交笛卡尔平面上。在每个投影视图下，对相邻帧之间运动能量的绝对差进行积累，形成深度运动图，称为深度运动轨迹图像(DMTI)。然后，从深度运动轨迹图中计算出多尺度方向梯度直方图(MsHOG)，形成DMTI-MsHOG描述符。此外，我们还应用L2-CRC协作表示分类器和SVM分类器分别进行动作分类。在MSR Action3D数据集和MSRGesture3D数据集上验证了所提出的方法。实验结果表明了该方法的有效性。