人机交互技术是虚拟现实技术与增强现实技术的重要组成部分,它在人与系统之间构建了符合人类习惯的信号传输桥梁。随着智能设备的日新月异,自然人机交互的虚拟现实设备开始普及,基于这类设备的人机交互开发得到了众多关注,其中基于手部交互的技术得到了广泛研究,而手部检测跟踪技术是实现自然人机交互的前提条件。针对现有人机交互手部检测跟踪方法易受光照环境等因素影响、鲁棒性差的不足,本文提出一种融合深度与肤色特征的自适应手部检测跟踪算法,以实现复杂观测环境下的鲁棒跟踪。本文从特征描述入手选取合适的特征集合,利用具有稳定性的深度特征和具有聚类特点的肤色特征描述手部区域,选用像素灰度值描述深度数据,YCb Cr空间模型描述肤色特征。针对手部运动过程存在形变,本文基于手部运动过程中深度平滑连续性提出基于深度阈值的自适应手部检测算法,利用深度阈值实现手部检测区域的自适应尺度变化,并提出小采样集合检查结果替代遍历以提高算法效率。在检测算法的基础上本文进一步提出了融合深度与肤色特征的自适应粒子滤波跟踪算法,在粒子滤波框架下将跟踪问题转换为贝叶斯估计问题。该算法首先在粒子预测传播过程中利用自适应深度阈值实现跟踪目标区域的自适应变化获得手部候选区域,在此基础上建立YCbCr空间肤色归一化直方图,并实现粒子权值更新。最后,基于最大后验准则(MAP)确定手部位置,实现自适应的手部跟踪。跟踪过程中通过监测粒子重要性权值的方差进行重采样解决粒子匮乏问题。为验证算法效果对该算法进行定性、定量和对比实验,实验结果表明,该跟踪算法可适应不同复杂环境,鲁棒性良好。