论文部分内容阅读
基于虚拟现实技术的立体显示方式使医生可以观察三维解剖结构形态,直观了解解剖结构之间和手术器械与解剖结构之间的空间位置关系,对于患者病情理解、手术规划和手术导航都有重要意义。由于手术室中医生无法直接通过接触交互式设备控制虚拟解剖结构的显示状态,所以设计了一种基于手势识别和语音识别的非接触式交互方式。本文主要研究面向人体解剖模型的非接触式交互立体显示方法,主要包括:面向Oculus的虚拟现实立体显示方法、基于语音识别的人机交互方法和基于手势识别的人机交互方法。在虚拟现实立体显示部分,使用Oculus虚拟现实技术,阐述基于双目视差的立体显示原理,分析两种双目视差模型的优缺点,采用平行双目投影模型方式,利用Oculus SDK提供的API,将模型渲染显示到Oculus Rift DK2中。为区分不同解剖结构模型和每个解剖结构模型的细节,通过着色器程序实现Blinn-Phong光照模型。通过使用初始位移矩阵和缩放矩阵对模型在加载时进行操作,以保证模型显示的完整性和有效性。在语音交互部分,明确系统所需的显示、旋转、缩放、位移四个模式和复位操作等语音命令,通过分析相应的离线语音识别语法规范,制定上述语音命令语法格式,实现系统所需的命令词识别网络。配合命令词识别网络,应用讯飞语音识别引擎,通过语音命令切换系统模型显示状态。在手势交互部分,通过Intel RealSense技术提供的手势识别功能信息构建系统的手势交互控制框架。对于RealSense手部位置跟踪位置识别结果不稳定问题,使用卡尔曼滤波器对其进行滤波处理,并选出相对较优的参数;配置以四元数配合表示三维空间旋转为基础,通过轨迹球方式完成基于手势识别的旋转控制。通过将手部模型坐标系转换到标准化平面坐标系,完成基于手势识别的缩放和位移控制。最后,搭建一套用来展示人体虚拟解剖模型的非接触式的交互式立体显示系统。系统通过立体虚拟现实技术向医生展示具有沉浸感的人体虚拟解剖模型场景,帮助医生从海量的医学信息中高效获取感兴趣信息。采用语音交互和手势交互相结合的操作方式,在不影响操作模型的速度和效率的前提下,让医生以非接触方式控制虚拟解剖结构显示方式。通过对医学领域人员的实际使用感受评价问卷调查的方式,验证本系统的可行性和实用性。