远程交互式多媒体系统及其在数字健康可视化中的应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:tp153c
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息与通信技术的迅猛发展为当今的多媒体技术研究带来了许多新课题。   其中,交互式多媒体应用和交互式多媒体系统的设计与优化对提升用户体验至关重要。一方面,交互式多媒体应用已经在人们的日常生活中日益普及,如游戏、教学、多媒体会议等。另一方面,用户希望获得的多媒体服务具有更丰富的内容、更高的视觉质量、更好的交互性、并可以被更方便的访问。对于多媒体系统来说,更丰富的内容要求其具有更强的存储、传输和处理能力;更高的视觉质量要求更高效的多媒体压缩、传输和处理算法;更好的互动性要求尽可能低的端到端延迟;而更方便的访问则要求多媒体系统能够适应不断发展的异构客户端设备进而融入用户的日常生活中。因此,如何根据以上要求来设计和优化交互式多媒体系统成为了我们面临的困难和挑战。   本文从当前多媒体技术与计算设备的发展背景和趋势出发,研究了先进的远程交互式多媒体系统的体系结构设计和不同组成模块的优化技术。通过利用远程计算、虚拟显示、多设备协作等技术,极大的提升了远程交互式多媒体系统的用户体验,也扩展了交互式多媒体服务的应用领域。本文的具体研究内容及其创新之处主要包括:   提出了一个统一的纹理压缩方案。该方案基于颜色量化与定长编码,对现有的各种源纹理格式进行硬件友好的纹理压缩。它适用于高动态范围纹理、低动态范围纹理、透明度纹理等。特别地,针对不同的源纹理格式的特性,本文设计了多数据率的定长编码压缩算法,并且支持不同压缩格式之间的快速转化,从而可以满足具有不同能力的渲染系统的要求。对于远程交互式多媒体系统,统一的纹理压缩方案不仅能够更好的支持在瘦客户端设备特别是移动和手持设备上的用户界面渲染合成,而且压缩的纹理极大节省了后台虚拟化模块的存储与处理开销,从而提高了系统的容量和性能,可以为更多用户提供内容更丰富的交互式多媒体服务。   提出了针对二维图像元素的压缩与后处理算法。在本文提出的远程交互式多媒体系统中,各种典型的交互式多媒体应用经过系统后台的虚拟化模块处理后,被表示为一个或多个二维图像元素序列及交互控制命令流。因此,本文设计了针对二维图像元素的压缩与后处理算法。首先,本文提出了对于混合图像(如屏幕图像)的实时压缩与缩放算法,它基于对混合图像的实时内容检测,利用具有不同内容的图像区域的不同压缩特性进行自适应压缩,并对相应的图像区域进行内容自适应的后处理实现缩放操作。同时,本文还利用图形处理器来进一步加速混合图像的实时缩放。其次,针对另外的一类二维图形元素,即高动态范围图像,特别是高动态范围的医学图像,本文提出了基于感兴趣取值的嵌入式位平面压缩算法。它利用格雷哥伦布编码实现了支持感兴趣取值可伸缩的渐进传输,同时可以精确估计传输中的截断误差。   设计并构建了一个面向异构客户端设备的交互式虚拟显示系统。利用前面的纹理压缩方案以及图像元素压缩与后处理算法,本文实现了基于瘦客户端远程计算以及多设备协作的远程虚拟显示系统。该系统构架由便携式移动设备、可穿戴传感器、个人区域和环境中的输入输出设备、以及远程计算资源等组成。   在此构架之上,后台服务器端的虚拟化模块,中间层的传输与控制模块,以及客户端的合成与显示模块共同实现了高效的远程交互式虚拟显示。通过充分利用远程的计算资源和异构的客户端设备,本文提出的交互式虚拟显示系统具有良好的移动性、交互性、以及计算与存储性能,可以利用现有的瘦客户端计算设备支持具有丰富用户体验的交互式多媒体应用。   建立了一个新的远程交互式多媒体服务,即以用户为中心的远程数字健康可视化服务。本文将提出的远程交互式多媒体系统进一步专门化来支持不同的数字健康应用,利用传感器、客户端设备、服务器协同工作。在典型的数字健康系统构架下,我们提出了对数字健康数据的三维虚拟人体表示方法,并将其应用于系统后台服务器端的虚拟化模块上。通过远程虚拟显示,各种不同的健康数据可以通过统一的虚拟人体可视化服务与使用异构客户端设备的用户实时交互。本文提出的基于远程渲染与虚拟显示技术的虚拟人体可视化方案可以被多种在线数字医疗服务(如症状查询,健康状况监控,以及医疗系信息浏览等)使用,从而推动数字健康系统与服务的发展。  
其他文献
无线传感器网络(WirelessSensorNetwork,WSN),是由大量随机分布在监测区域内的微型传感器节点组成,目的是协作的感知、采集和处理监测区域中的信息,然后通过无线通信方式发送给观
人工情感指用人工的方法和技术,模仿、延伸和扩展人的情感,使机器具有识别、理解和表达情感的能力。它是人工智能研究领域的一部分。随着机器人技术在越来越多的领域中的应用
集群系统以业务种类丰富、信道利用率高以及快速接入等特点在各行业和各部门中得到了广泛的应用。随着集群业务需求的增长,集群通信系统也需要不断地更新换代,因此,基于我国自主
可视电话(Audiovisual)是集图像、语音、数据等为一体的多媒体融合性通信业务,利用通信网络实现用户之间的实时通信,移动可视电话是指利用移动网络来实现的多媒体通信。在第三
近年来复杂网络的研究受到了越来越多不同领域学者的共同关注,而网络中的信息检索和恢复也是长久以来备受关注的话题之一,其中链路预测便是近几年来的一个新兴和热门方向,对它的
移动通信终端的节能省电一直是无线通信领域的一个重要研究课题。我国“十一五”规划纲要提出节能减排计划,绿色通信必将是作为以低碳经济发展的通信行业的发展方向。随着3G无
涡轮叶片是燃气轮机重要的耐久性部件,涡轮叶片在高速旋转和高温下工作,故叶片温度最高的部位易发生过烧现象,而叶片过烧是造成燃气轮机故障的重要原因之一。因此,对涡轮叶片
3GPP LTE系统是3G的演进,采用OFDM和MIMO作为无线网络演进的唯一标准。它改进了3G的空中接入技术,在20MHz频谱带宽能够提供下行100Mbps、上行50Mbps的峰值速率。随着LTE规模试
随着移动通信的发展,第四代通信系统的研究也接近尾声,LTE即将进入商用阶段。为了确保3G向4G过渡的平滑性和连续性,对LTE系统的研究显得尤为重要。在LTE系统的通信过程中,协议栈