人体行为识别是计算机视觉领域的重要研究课题,在医疗监护、智能家居、虚拟现实、人机交互、智能安防、基于内容的视频检索、运动员辅助训练等领域具有非常广阔的应用前景。传统的人体行为识别方法通常不考虑视角变化的影响,它假设在训练和测试期间视角是相同的。而在实际情况中,视角通常都是变化的。当视角变化过大时,这些方法的识别准确率将显著降低。本文主要研究跨视角人体行为识别问题,在该问题中模型的训练和测试是在不同的视角下进行的,目的是开发出对于视角变化鲁棒的人体行为识别系统。本文着重研究基于RGB视频和三维骨骼序列的跨视角人体行为识别问题,主要工作如下:(1)针对基于RGB视频的跨视角人体行为识别问题,设计了一个基于可迁移字典学习方法的跨视角人体行为识别系统。该系统首先从视频中提取视角相关的全局特征,接着使用可迁移字典学习方法,以不同视角下的相同行为的对应特征为输入,以强置对应特征具有相同的稀疏表示为目标,学习一组对应视角下的可迁移字典。通过在字典学习过程中增加标签一致性约束,使得相同行为具有相同的稀疏表示,不同行为具有不同的稀疏表示,从而提升了稀疏表示的区分性。然后,使用对应视角下的可迁移字典,将不同视角下的特征映射到公共的稀疏表示空间,从而得到视角不变的稀疏表示。(2)针对基于三维骨骼序列的跨视角人体行为识别问题,设计了一个基于视角自适应卷积神经网络的跨视角人体行为识别系统。该系统首先使用对齐中心点、骨骼随机旋转和骨骼图像映射等预处理方法,将三维骨骼序列转化成适用于卷积神经网络训练的骨骼图像。接着使用本文设计的视角自适应卷积神经网络进行端到端的训练。本文设计的视角自适应卷积神经网络由视角变换子网和主分类网组成。视角变换子网能够自动从骨骼图像中得到最适合主分类网训练的虚拟观察视角。通过视角变换方法将骨骼图像转换至最佳观察视角后,使用新的骨骼图像对主分类网进行训练和测试。