手势交流作为人们日常生活交流的常见形式,已成为人机交互的重要组成部分。随着人们对手势识别的准确性以及应用场景的丰富性越来越高的要求,基于单目相机的手势识别受到更为广泛的关注。由于手势存在形变大、自身遮挡、背景复杂等问题,本文基于单目相机拍摄的手势图像,使用深度学习技术,探索提高手势识别准确率的方法。为了解决上述问题,本文设计了结合手指姿态估计的深度学习手势识别框架。该框架共包含两部分:首先,本文设计和实现了一个深度学习模型——HandPoseNet,用于从图像中精确地恢复手指姿态。本课题使用置信图表示手指位置,对于输入的手势图像,通过HandPoseNet生成对应的置信图。本文在三个手指姿态估计数据集上进行训练,得到一个可靠的适用于多场景的HandPoseNet模型。然后,结合训练好的HandPoseNet模型,本文设计和实现了多模态深度融合网络,将原始图像与HandPoseNet模型得到的手指姿态作为融合网络的输入,进行手势识别。与现有多模态方法不同的是,本文的手指姿态通过姿态估计模型自动得到,融合框架本质上只使用了彩色图像作为输入。为了充分利用双模态数据之间的互补性,本文设计了两种多模态深度融合方法,并在多个基准数据集上进行实验。实验结果表明,结合姿态估计进行手势识别的方法可以有效提高手势识别的准确率。