行为识别是计算机视觉领域的重要课题,该研究有着非常广泛的应用,如视频监控、视频分析、人机交互等。深度相机的出现极大地推动了行为识别的研究。深度相机对光照、遮挡等因素不敏感,其获取的深度序列可以提供丰富的三维空间信息和人体曲面结构线索。本文的工作是基于深度相机获取到的深度序列开展行为识别研究。本文将低层语义的行为模式应用到新的行为识别框架,旨在挖掘出关键的行为模式,从而实现高效的行为动作分类。因此本文的研究主要分为三个方面:(1)行为模式的表达。(2)关键行为模式的学习。(3)利用关键行为模式完成行为识别。本文通过对深度序列样本的自适应时空划分,生成每类行为的动作立方体池。在行为模式的表达方面,通过向量连接和池化等方法整合动作立方体内提取的曲面法向量,从而得到动作立方体池对应的行为模式集合。本文创新性地提出空间约束的聚类算法,从而完成对行为模式集合的分簇。之后,本文基于最大间隔的多示例学习算法,迭代地训练多类分类器并利用多类分类器筛选出关键的行为模式。样本描述符的构建是基于样本对关键行为模式的响应分布差异。得到样本描述符后,还需要训练多类的分类器以完成样本的分类。最后本研究在MSRAction3D和MSRDailyAction3D两个开源数据集上进行了验证,并取得很好的识别结果。