虚拟手在虚拟装配、医疗仿真以及游戏动画等方面都有很强的应用背景,尤其是灵巧虚拟手,在虚拟环境中代替人手进行手势、操纵物体等任务。这要求虚拟手首先具有交互的实时性和有效性,其次随着用户对交互要求的提高,虚拟手交互的真实感也成为用户迫切的需求。然而,由于人手运动的灵活性和复杂性,当前虚拟手的交互技术并不能满足用户对于交互体验的要求,或在外观上极度缺乏真实感,或只有真实感却无法进行人机交互。以探索兼顾虚拟手的外观真实感和交互实时性的交互方式为目标,本文展开了研究。虚拟手交互涉及到用户的手眼与虚拟环境的交互作用,其中手作为输入方向虚拟环境传入信息,在虚拟环境处理后,通常以图形显示方式反馈给用户观看,其中的手眼是否协调一致是影响交互质量的一大因素。可以用交互过程的流畅性、逼真性、有效性来衡量交互过程的优劣。然而,绘制效果的真实性和计算的实时性是先天的矛盾,再加上硬件设备的局限性,使得虚拟手的模拟成为一项复杂的工作。分析了灵巧虚拟手的交互需求和计算效率,本文提出了灵巧虚拟手的自然交互框架,并实现了数据驱动的交互模式。该框架将双四元数引入虚拟手的交互建模中,利用其保持几何形状、运算效率高的特性,驱动虚拟手的几何形变：采用细分曲面方法建立逼真的虚拟手外观几何,并基于人手解剖结构简化建立适用于实时交互的虚拟手运动结构；同时,为交互任务设计了碰撞检测模型,基于蒙皮特性实现自动提取。在交互框架的基础上,实现了正向的虚拟手交互,针对手势交互和操作性交互任务进行实验。实验中,所建立的虚拟手交互模型能够实时地完成虚拟手交互任务,并在交互过程中取得外观、运动真实感和计算实时性之间的良好平衡,兼具外观、运动真实感和运行实时性。针对虚拟手的操纵性任务,考虑到数据手套的价格以及穿戴式硬件带来的运动限制,本文提出了更高效、具有更高成本效益的交互方式。引入心理学关于人手抓取轨迹线的研究成果,为虚拟手生成指尖的轨迹线,自动抓取算法取代捕获手指关节角度的数据手套,并辅以抓取判断准则,为虚拟手实现自动的稳定抓取效果。为评估使用数据手套的正向运动交互方式与基于抓取轨迹线的自动抓取算法的优劣,本文开展了用户研究实验。以大力抓取任务为例,从定量和定性两个层面进行衡量。定量指标包括运算效率、用户操作效率；定性指标主要衡量用户使用感受,利用问卷将其定量化。结果表明,基于自动抓取算法的虚拟手在运算效率、用户使用效率上均优于数据手套驱动的虚拟手,而在用户体验方面也略胜后者一筹。