随着人工智能的不断发展,便捷和智能的人机交互技术也在我们的生活中得到广泛的应用。基于摄像头的手势交互方式因其方便性和快捷性,摆脱了鼠标键盘和控制台等硬件设备的限制,更加贴近智慧化的人机交互方式,成为当今学者研究的热门课题。目前,基于视觉的手势识别算法受计算机计算能力的限制,在保证识别准确率的情况下不能完全达到实时性的动态手势识别要求,在动态手势识别中依然存在时间序列特征难以提取、手势轨迹不明显导致识别准确率低等问题。针对这些问题,本文提出一种基于yolo（yolo v3）网络和改进TCN网络的双流网络模型用于识别视频数据的动态手势识别方法,并在动态手势数据集Jester数据集上进行训练与验证。通过与其他网络模型方法进行比较,在完全训练时本文准确率相比提高了2.76%,在减少一定训练量时由于本文网络收敛更快,准确率相比提高了5.68%,并且本文研究方法在动态手势识别上的速率为33fps,满足实时性要求。在数据集处理方面,针对手势视频数据中存在的光照、肤色、背景等复杂的干扰信息问题,本文将视频数据通过三帧分割法的方式将视频数据调整为帧序列,在空间通道利用卷积神经网络yolo网络提取动态手势的空间特征,相比原网络,利用yolo网络降低了网络模型的复杂度,加快了手势识别的效率,起到提高实时性的目的。针对卷积神经网络不具有对长时序特征的学习能力,双流网络在时间通道利用时序网络提取动态手势的时间轨迹信息,时序卷积网络对时序任务具有更优的学习能力,经过改进的TCN算法融入了注意力机制,对动态手势的时间轨迹特征具有更好的提取效果,并采用光流法提取视频手势的时空轨迹信息。通过利用13种手势测试在自然环境下的动态手势识别准确率,本文方法总体平均识别率达到91.6%,验证本文网络模型在实际应用中具有较强的可用性和较高准确率。并且根据实验结果显示,本文的手势识别方法对轨迹不明显的动态手势依然具有良好的识别效果,在实时性上也有较大提升。