基于自然人手的交互界面是近年来人机交互领域(HCI)的一个研究热点,运动人手的三维跟踪技术则是其中一个关键性和基础性问题。对该课题的深入研究,不仅是对人机交互理论及应用的进一步推进,更是对其所涉及的诸如人工智能、计算机视觉、人机交互理论及虚拟现实等交叉学科的实际应用有着重要意义。基于交互分析的人手三维跟踪的主要任务,是通过摄像头对人手运动进行连续捕捉,利用对手势的交互分析及跟踪理论进行指导,在计算机中重构出与之相对应的三维人手的位置和姿态,“亦步亦趋”的实现真实人手的各种动作,为更加自然方便的基于自然人手的人机交互界面的实现奠定良好基础。本课题侧重于单目视觉条件下的人手三维跟踪,其本质在于利用t -1时刻三维人手模型参数和当前t时刻帧图像中的手势观测信息,对t时刻的三维人手模型的各个参数进行滤波和预测,以达到对人手跟踪之目的。相对于人手二维跟踪,三维跟踪技术中存在着更多的技术难点。因为人手是多关节的非刚性复杂物体,有着较高的自由度(degree of freedom, DOF),一般可达26个自由度,在人手的运动过程中,手掌和手指的状态不断发生着变化,如此高的特征向量维度直接导致了庞大的计算量,致使时间开销过大,这是制约交互跟踪中实时性的一个瓶颈。而且,如何从视频手势帧图像中获取三维人手模型的对应参数本身就是一个具有挑战性的课题。本文依托国家自然科学基金(60773109,60973093)“面向实时性和鲁棒性的自然人手粒子滤波跟踪方法研究”以及山东省自然科学基金(2006G03)“虚拟样机人机交互界面设计中自然人手的跟踪方法研究”等项目,对在运动人手的三维跟踪技术中的几个关键问题进行了讨论和研究。其中,重点对人手的运动过程进行交互分析,建立与该阶段相应的交互模型对跟踪进行指导和约束,以达到改善跟踪精度和实时性的目的。以下是本文的创新贡献:1、灵活的人手3D模型良好的人手3D模型是本课题的基础性工作,首先,利用级联坐标系的方法详细介绍了一种新的手势模型三维模型的建立,着重改善了传统大拇指的设计缺陷,使人手模型在各个自由度都能够灵活的模拟真实人手的活动;然后,通过对自由运动人手的分析,对数据手套和位置跟踪仪结合控制人手模型提出了具体的实现方法。2、提出了手势分割及手势特征提取方法为了对跟踪提供较好的手势观测特征结果,提出了一种快速、准确的复杂背景下手势特征检测方法。首先利用基于肤色亮度的手势分割方法将手势提取出来,获得手势轮廓,然后针对不同手型利用改进的曲率算法对轮廓点进行初步筛选,最后通过对候选点区域内分布特点的分析最终确定特征点位置。并进一步提出了新的特征点分离算法。与已有算法相比较,主要创新在于提出了基于亮度分布的肤色模型,增强了手势分割的鲁棒性;引入了手型分析尺度和特征点分布分析,对手势特征位置由粗到精进行检测,改善了算法的精度和时间开销。3、提出了基于交互分析的人手三维跟踪方法本文提出的跟踪算法建立在对基于3D手势的虚拟装配人机交互系统中对手势交互行为理解的基础上,着重对交互过程进行分析整理,以基于模型的跟踪方法为基础,采用“分而治之”的策略将整个交互行为在初始化阶段、操作阶段和选择阶段逐个分析处理。首先,在初始化阶段提出了一种新的自动3D手势模型参数初始化方法,通过操作者和计算机之间不断“相互”调整最终获取最佳的3D手势模型初始参数。在后两个阶段分别建立相应的交互模型对跟踪算法进行指导和约束:在操作阶段,通过高斯过程动态模型方法建立操作阶段的交互手势模型库;在选择阶段,通过对多种选择方式进行交互分析及对比,选定最佳的选择动作,对其在轨迹、时间、愉悦度和反馈信息等多角度进行建模及优化,建立选择阶段的交互模型库。两个阶段的交互模型作为对本阶段粒子滤波算法采样的约束和指导,避免了在高维空间的盲目采样,从而改善整个装配过程中的人手运动跟踪方法的跟踪精度实时性。本文在交互分析这一全新角度对运动人手三维跟踪方法提出一种思路,并通过虚拟装配平台与国内外其它算法在跟踪精度和时间消耗等方面进行对比,验证了算法的有效性。