论文部分内容阅读
信息与通信技术的迅猛发展为当今的多媒体技术研究带来了许多新课题。
其中,交互式多媒体应用和交互式多媒体系统的设计与优化对提升用户体验至关重要。一方面,交互式多媒体应用已经在人们的日常生活中日益普及,如游戏、教学、多媒体会议等。另一方面,用户希望获得的多媒体服务具有更丰富的内容、更高的视觉质量、更好的交互性、并可以被更方便的访问。对于多媒体系统来说,更丰富的内容要求其具有更强的存储、传输和处理能力;更高的视觉质量要求更高效的多媒体压缩、传输和处理算法;更好的互动性要求尽可能低的端到端延迟;而更方便的访问则要求多媒体系统能够适应不断发展的异构客户端设备进而融入用户的日常生活中。因此,如何根据以上要求来设计和优化交互式多媒体系统成为了我们面临的困难和挑战。
本文从当前多媒体技术与计算设备的发展背景和趋势出发,研究了先进的远程交互式多媒体系统的体系结构设计和不同组成模块的优化技术。通过利用远程计算、虚拟显示、多设备协作等技术,极大的提升了远程交互式多媒体系统的用户体验,也扩展了交互式多媒体服务的应用领域。本文的具体研究内容及其创新之处主要包括:
提出了一个统一的纹理压缩方案。该方案基于颜色量化与定长编码,对现有的各种源纹理格式进行硬件友好的纹理压缩。它适用于高动态范围纹理、低动态范围纹理、透明度纹理等。特别地,针对不同的源纹理格式的特性,本文设计了多数据率的定长编码压缩算法,并且支持不同压缩格式之间的快速转化,从而可以满足具有不同能力的渲染系统的要求。对于远程交互式多媒体系统,统一的纹理压缩方案不仅能够更好的支持在瘦客户端设备特别是移动和手持设备上的用户界面渲染合成,而且压缩的纹理极大节省了后台虚拟化模块的存储与处理开销,从而提高了系统的容量和性能,可以为更多用户提供内容更丰富的交互式多媒体服务。
提出了针对二维图像元素的压缩与后处理算法。在本文提出的远程交互式多媒体系统中,各种典型的交互式多媒体应用经过系统后台的虚拟化模块处理后,被表示为一个或多个二维图像元素序列及交互控制命令流。因此,本文设计了针对二维图像元素的压缩与后处理算法。首先,本文提出了对于混合图像(如屏幕图像)的实时压缩与缩放算法,它基于对混合图像的实时内容检测,利用具有不同内容的图像区域的不同压缩特性进行自适应压缩,并对相应的图像区域进行内容自适应的后处理实现缩放操作。同时,本文还利用图形处理器来进一步加速混合图像的实时缩放。其次,针对另外的一类二维图形元素,即高动态范围图像,特别是高动态范围的医学图像,本文提出了基于感兴趣取值的嵌入式位平面压缩算法。它利用格雷哥伦布编码实现了支持感兴趣取值可伸缩的渐进传输,同时可以精确估计传输中的截断误差。
设计并构建了一个面向异构客户端设备的交互式虚拟显示系统。利用前面的纹理压缩方案以及图像元素压缩与后处理算法,本文实现了基于瘦客户端远程计算以及多设备协作的远程虚拟显示系统。该系统构架由便携式移动设备、可穿戴传感器、个人区域和环境中的输入输出设备、以及远程计算资源等组成。
在此构架之上,后台服务器端的虚拟化模块,中间层的传输与控制模块,以及客户端的合成与显示模块共同实现了高效的远程交互式虚拟显示。通过充分利用远程的计算资源和异构的客户端设备,本文提出的交互式虚拟显示系统具有良好的移动性、交互性、以及计算与存储性能,可以利用现有的瘦客户端计算设备支持具有丰富用户体验的交互式多媒体应用。
建立了一个新的远程交互式多媒体服务,即以用户为中心的远程数字健康可视化服务。本文将提出的远程交互式多媒体系统进一步专门化来支持不同的数字健康应用,利用传感器、客户端设备、服务器协同工作。在典型的数字健康系统构架下,我们提出了对数字健康数据的三维虚拟人体表示方法,并将其应用于系统后台服务器端的虚拟化模块上。通过远程虚拟显示,各种不同的健康数据可以通过统一的虚拟人体可视化服务与使用异构客户端设备的用户实时交互。本文提出的基于远程渲染与虚拟显示技术的虚拟人体可视化方案可以被多种在线数字医疗服务(如症状查询,健康状况监控,以及医疗系信息浏览等)使用,从而推动数字健康系统与服务的发展。