随着微软推出Kinect深度相机，基于深度图像的模式识别成为研究的热点，其中符合人类交互习惯的手势识别成为研究的重要方向，人手关节点识别作为手势识别的关键和基础问题，具有重要研究意义。深度图像每个像素点所带的信息，不是可见光图像所带的亮度、色彩等信息，而是该点到相机的距离信息。与可见光图像相比，深度图像不会受到光照、阴影、环境变化等因素的影响，并且直接反应了场景的三维信息，为三维关节点识别提供了有利条件。本文以基于深度图像的人手关节点识别为目标，提出了一套完整的解决方案。采用深度相机捕获人手深度图像并通过真值标注方法制作深度图像样本库，提取样本的深度特征用于随机森林模型的训练和部位识别，最后在各部位聚合像素信息得到关节点的三维位置。本文设计的改进的深度比较特征，能有效区分人手的部位并且具有旋转鲁棒性；采用的随机森林模型在识别问题上具有高效以及可以并行处理的优点。本文的系统在PC平台上实现，对测试样本的部位识别的正确率为79%，识别的关节点与标注关节点的位置偏差在允许范围内的概率达到82%，具有较高的识别准确率。本文的算法平均处理一帧图像的时间是86毫秒，基本满足实时性要求。