随着人机交互技术的发展，自然、方便、和谐的交互方式正逐渐成为人机交互技术的发展方向。人手作为一种自然、直观的交互方式，在人机交互过程中的作用越来越突出、越来越重要。基于视觉的自然人手跟踪对于智能人机交互的理论和应用的深化，特别是在虚拟现实中的应用，具有重要的研究价值和应用前景。基于模型跟踪方法的实质是，建立三维手势模型特征与手势图像特征之间的对应关系，通过能够观测到的手势二维图像特征与三维模型进行匹配，从而找出最优的手势模型。然而人手是一个多关节的复杂的非刚性结构，不仅具有高自由度，而且其本身带有歧义性、多样性和时空差异，使得基于模型的自然人手跟踪本身就是一件非常困难的事情，是一个极具挑战性的课题。本课题以“面向人手三维跟踪的粒子滤波器的实时性和鲁棒性问题研究，国家自然科学基金（No.60973093）”等项目为依托，对运动人手三维跟踪方法进行相关研究。本文使用当前最流行的连续动态特征序列语义建模的一种工具——概率图模型（Probabilistic Graphical Models），并受“牛顿第一定律”的启发，对自然人手的运动跟踪进行学科交叉的讨论和研究，提出基于改进VLMM和手势分析的自然人手三维跟踪方法。本文的主要贡献包括以下几点：（1）建立特定交互任务的产生式模型——可变长度马尔可夫模型借助建立的虚拟装配系统获取不同操作者完成同一交互任务的手势数据，并将其作为训练数据，学习可变长度的马尔可夫模型。在模型的训练中，选取手势作为研究对象，即一段时间轴上连续的手形。选择手势为研究点，既可以减少人手高自由度引起的巨大计算量，又可以降低畸形手势的出现概率，充分考虑关节之间的关联性。（2）提出一种基于可变长度马尔可夫模型的人手跟踪方法在粒子滤波方法的基础上，提出一种将粒子滤波和可变长度马尔可夫模型相结合的算法，通过状态预测有效约束采样可信区间，使粒子采样具有方向性，降低粒子滤波算法的时间开销，提高算法的跟踪速度；同时，在重采样过程中选用PERM（Pruned-EnrichedRosenbluth Method）方法，替代标准重采样方法，其既能避免权值小的粒子的丢失，又能抑制权值大的粒子的重复复制，增强粒子的多样性。实验结果表明，与粒子滤波算法比较，这种算法可以大幅度提高跟踪的速度，较好地保证重采样粒子的多样性，改善跟踪算法的精度。（3）基于牛顿第一定律，进行手势运动建模——提出一种惯性时间模型受牛顿第一定律的启发，在与虚拟装配系统进行交互的过程中，人手运动必然存在惯性特征。以虚拟装配系统作为基本背景，以减少参与随机采样的粒子个数为目的，对操作者在该过程中的人手运动特征进行分析，发现了人手运动过程平稳阶段的特征，提出并命名为惯性时间模型。在惯性时间模型的运动时间内进行手势跟踪，不再需要学习和采集样本，只要按照手势的惯性进行运动跟踪即可。惯性时间越长，我们需要采集的样本数目就越少，需要学习的动作也越少，算法的时间消耗就越少，需要的训练样本也越少。（4）提出一种基于惯性时间模型的人手跟踪算法以基于可变长度马尔可夫模型的算法为基础，融合惯性时间模型，模型中每个状态只需学习动态序列开始和结束的典型手势，中间的手势可以根据惯性运动获得，这样可以减少模型学习训练的动作，减少模型训练时所需的大量样本，并对学习之外的行为可根据运动的惯性特征进行预测。同时，在惯性时间模型之后引入中途检测机制，仿照粒子滤波的采样原理，当惯性结束时需要用采样的方法来修正，保证跟踪的准确性。实验表明，该算法对于人手的随意运动可以成功预测，提高学习之外运动的跟踪精度；降低样本数目，节省时间开销，缩小跟踪过程中预测手势样本集的范围，解决高维特征空间搜索问题。