交互性是虚拟现实系统的关键特性,因此人机交互技术逐渐成为虚拟现实研究中的一大热点。在集装箱装卸仿真系统中加入位置跟踪器和数据手套等用户交互设备,控制虚拟手在场景中运动,从而对司机室内虚拟设备进行操纵,将进一步增加人机交互的手段,而且使得培训、评估工作以及所仿真的控制设备更加多样化。本文首先对虚拟场景图的构造进行了探讨,研究了场景图的拓扑结构,并以VTree作为场景构造和管理的软件平台。然后,分析了人手的解剖结构和运动特点,并根据司机操作手册和拍摄的照片,研究了司机室左右联动台的功能和组成,并探讨了数据手套和位置跟踪器的工作原理及功能。以此为基础,利用MultiGenCreator建模软件构造了虚拟手和虚拟左右联动台的场景图模型。利用位置跟踪器获取了人手的空间位置信息,从而实现虚拟手在虚拟场景中漫游;同时,通过数据手套获取了人手手势信息,完成了人手到虚拟手的动作映射。本文着重研究了虚拟手对虚拟物体进行操作的理论和实现,制定了虚拟手对司机室左右联动台上不同的虚拟设备进行操作时的抓取规则,并利用关键帧技术实现了虚拟手姿态连续、自然的变换;同时设计了符合本文要求的碰撞检测算法,实现了虚拟手对虚拟设备的操作,通过对司机室内指示灯状态的模拟,反映虚拟手对相应虚拟设备的操作。