近年来,手势交互受到越来越多的关注。同时,随着深度摄像头(如Kinect,Real Sense)的应用和人体姿态估计算法的发展,我们可以从图片或视频中获取人体的关键点坐标。虽然基于关键点轨迹的手势识别已经取得重大的进展,但是仍然存在以下挑战:(1)信息量较少;(2)尺度变化大;(3)类内差异大;(4)类间差异小。现有的方法主要可以分为基于特征设计的方法和基于深度神经网络的方法,前者相对简单,但是特征缺乏泛化能力,且对领域知识有较高的要求,后者效果较好但是通常有较大的计算量且需要更精细的超参数调整。基于上述的观点,本文从特征提取、网络设计、特征提取与网络训练融合三个方面对基于关键点坐标的手势识别进行了深入的研究,包括:(1)基于手部单关键点轨迹及其路径重积分特征的手势识别;(2)基于骨架多关键点轨迹及其路径重积分特征的手势识别;(3)基于路径重积分卷积一体网络的手势识别。主要的研究内容和贡献如下:基于单个关键点的时间轨迹进行手势识别,关键在于对轨迹点的时序信息进行建模。本文利用路径重积分特征对手部轨迹进行建模,提出了路径重积分网络和对数路径重积分网络,该网络结构能够对时序信息进行建模,同时将彩色和深度视频的信息融合。另外,本文还提出一种随机丢帧的数据增强方式。最后在SKIG数据库上进行实验,实验结果证明了算法的有效性。基于骨架信息的多关键点轨迹进行手势识别,需进一步对空间信息和时空信息进行建模。本文基于骨架序列的特点,设计具有时间、空间和时空信息的路径重积分特征。在网络结构方面,本文提出了时序平移模块用于对齐骨架序列的关键帧。本文使用多支路的全连接结构进行最终的分类,并在Chalearn 2016,Chalearn 2013,MSRC-12三个数据库上验证了算法的有效性。本文进一步引入了可微分的路径重积分模块并设计了三种模块,分别为:可变形路径重积分模块、时间路径重积分模块和空间路径重积分模块。主要目的是针对性优化前面工作的两个局限性:(1)特征提取与网络训练相互独立;(2)需预先定义用于计算路径重积分特征的路径。最后,本文基于路径重积分模块提出了端到端的路径重积分卷积一体化网络,并在Chalearn 2013数据库上验证算法的有效性。综上所述,本文在特征提取、网络设计、特征提取与模型训练融合三个方面对基于关键点轨迹的手势识别任务进行研究。在特征提取方面,本文引入路径重积分特征,设计多种类型的特征对手部轨迹进行时空建模;在网络设计方面,本文提出时序平移模块用于解决关键帧偏移问题,并通过鲁棒的特征以及高效的特征融合进一步简化网络结构;最后,本文设计可变形路径重积分模块来融合特征提取和网络训练过程,并通过网络监督的形式自动学习路径形状。