基于视觉的动态手势跟踪与识别一直都是计算机视觉领域的研究研究重点与难点,其涉及多个视觉领域相关技术,是多个视觉方向的交叉课题。其中最为关键的动态手势跟踪技术和建模识别技术仍然不够成熟与完善。目前动态手势跟踪技术正处于从传统跟踪方式过渡到深度学习跟踪框架的阶段,现有的深度学习跟踪框架不能很好地适用于手势这种高自由度、空间占比小的视觉目标跟踪。另一方面,由于动态手势灵活多变、运动过程复杂,很难建立有效的通用手势模型进行识别。因此,本文对基于深度学习手势跟踪框架和动态手势建模识别两方面展开研究。首先,针对传统的手势跟踪方式在复杂环境下目标跟踪精度不高的问题,引入多域卷积神经网络建立动态手势跟踪框架,分析网络优缺点。根据跟踪网络获取的手势区域中心坐标对轨迹式动态手势建立手势轨迹模型并利用深度学习网络实现动态手势识别,验证深度学习跟踪框架在动态手势识别中的可行性。其次,针对多域卷积神经网络计算量大、实时性差的问题,提出一种基于注意力机制改进的实时多域卷积神经网络跟踪的动态手势识别框架。引入实时多域卷积神经网络实现手势实时跟踪处理,并在此基础上加入注意力模块来校准特征的空间重要性,明确跟踪目标的判别区域,大大提升手势跟踪的精度。在此基础上全面考虑手势的特点,综合利用手势的运动信息、外观信息和时间信息建立手势帧差时空图模型并利用深度学习网络对动态手势进行识别,在国际公开的CGD手势库上取得良好的识别结果,为复杂场景下动态手势跟踪与识别提供了可行的解决方案。