视触觉增强现实技术是在增强现实环境下加入触觉感知,使用户在真实场景中能够看到并触摸虚拟物体,以更加真实、自然的方式与虚拟物体进行交互。将视触觉增强现实技术应用于上肢康复领域,除具有增强现实技术在康复训练中的优点,更具有感知优势。运用多种感觉意识,可以起到辅助大脑高级皮质中枢重新整合的作用,有利于建立新的信息接收及处理通路,具有重要的研究价值。本文在增强现实环境下实现了视觉触觉相互融合,设计并开发了一个基于视触觉的增强现实上肢康复训练系统。本文的主要研究内容如下:首先,对目前视触觉增强现实中关键技术的研究现状进行了分析。本文使用Geomagic Touch力反馈设备提供触觉反馈。针对上肢康复训练的需要,本文提出了一种视触觉增强现实三维配准算法,将触觉代理、虚拟环境注册到真实场景中,实现了标识、相机、屏幕以及触觉设备坐标系之间的融合。通过三维注册和力触觉渲染实现了增强现实环境下的视触觉融合。其次,为了给患者提供感觉再训练,依赖视触觉增强现实应用设计了两个生理心理学实验,通过实验验证视触觉融合的优势。该实验的创新点在于将视触觉增强现实技术与实验心理学方法相结合,从心理学的角度对视触觉融合进行分析。通过定点实验和轨迹实验分别验证加入触觉对系统精确度、性能的影响,使用单因素重复测量方法对数据进行方差分析。实验表明,视触觉融合后有利于提升系统的精确度和性能。最后,本文将视触觉增强现实技术应用于上肢康复领域,开发并设计了一个康复训练系统,基于日常活动设计了两个难度不等的训练项目:轨迹训练和障碍物训练。其中轨迹训练包含了有力反馈和无力反馈两种模式,障碍物训练根据障碍物个数的不同设计了难度不等的三种模式。这两个项目主要锻炼了手指捏力、腕关节的灵活性以及肘关节、肩关节的活动范围,患者可以在训练期间感受到力反馈。通过多通道反馈让患者进行感觉再训练,有利于促进患者感知功能的恢复。最后通过实验对系统进行测试和问卷评估分析,验证系统的可行性和实用性。