论文部分内容阅读
当前裸眼立体显示获得了广泛的关注并取得了极大地进展。随着裸眼显示器的分辨率不断提高,显示器需要的视点数逐渐增多,三维显示内容生成在计算速度、内存存储方面面临新的挑战。受摄像机尺寸、拍摄条件、传输带宽等的限制,直接采集裸眼显示需要的多视点难以实现。在现有的拍摄条件下,从采集到的图像到裸眼立体显示,需要恢复三维场景的深度信息,渲染新的观看位置的虚拟视图。立体匹配和视图重建作为不可逆问题是内容合成处理的难点。为了提高超多视点、高分辨率产生的大数据量的处理效率,需要设计新的并行处理结构与算法,实现显示内容的实时生成。本文对裸眼三维显示内容生成进行了研究,提出了 一系列内容生成和优化方法,提高了合成图像的质量与效率。本文的主要研究内容和创新点如下:(1)提出了基于纹理重叠度的代价聚合立体匹配自动参数估计方法。参数设置对匹配的精确度影响较大,自动参数调整充分使用立体匹配中的优化策略,平衡空间距离与颜色相似性,通过归一化参数聚合矩阵与纹理重叠度建立匹配参数与精确度的对应关系,使匹配工作在最优状态。实验显示自动参数估计算法能够很好的计算匹配参数,对于不同类型、不同光照条件下的立体图像都能获得较高的匹配的准确度。解决了视频深度提取中应用参数调整复杂、实际处理效率低的问题,在实际应用中减少人工参与,实现视频匹配的自动化处理。(2)提出了一种视点间与帧间联合时空快速匹配算法。在视频匹配代价空间聚合中增加了帧间的信息,代价空间聚合由水平、垂直和时域三个方向的一维迭代聚合方式实现,通过每一维的连续性近似快速实现整个空间的连续性。相比于传统的时空匹配算法,联合时空算法的效率较高并且避免了帧间图像的相互干扰。实验显示时空算法提高了匹配的准确性,减弱了视频帧间的抖动现象,保持了匹配所得深度视频的时域连续性。(3)提出了高效多视点视频并行映射结构与预测空洞并行映射算法。通过并行映射直接合成包含多视点信息的图像用于立体显示,解决了传统多视点视频处理结构内存占用量大、算法流程较多的问题,减少了计算冗余。对于基于深度图像渲染的虚拟视图因遮挡产生的空洞问题,提出了预测空洞并行映射(PHM)算法提高了虚拟视图的合成质量与合成速度,在PHM中,设计了稀疏采样结构用于空洞映射,增强空洞映射的真实感。实验显示虚拟视图的结构相似性(SSIM)与峰值信噪比(PSNR)平均分别提高了 5.7%和3.16%,合成速度显著提高,能够实现32视点3840*2160分辨率的立体视频实时播放。(4)提出了视点间联合优化算法(AJVO),实现了三视点合成立体图像系统。AJVO算法通过优化彩色图的边缘模糊区域实现边缘增强,从本质上避免了虚拟视图中的鬼影现象,提高了稀疏视图合成立体显示图像的质量。使用AJVO算法搭建了三视点合成立体图像系统,以预处理的方式取代传统内容生成系统中的图像后期修复,提高了内容合成的效率。实验显示基于AJVO的立体图像合成方法所合成的图像在立体显示中边界清晰、准确,视点连续性强。对于全视差光场立体显示,提出了图像中的光线搜索方法重建光场,用于集成成像显示。(5)提出了一种基于深度信息的三维场景增强现实方法。对于无标定物条件下增强现实难点问题,利用立体匹配算法、深度空间变换、场景融合算法实现虚拟相机与真实相机的标定,建立用于虚实场景融合的遮挡混叠关系,实验显示虚拟场景与真实场景融合的真实感较强,能够在裸眼三维显示器上实现增强现实的效果。