论文部分内容阅读
在三维视频编码传输与视点合成技术当中引入深度图像的举措,标志着三维电视真正意义上从传统3D-TV到FTV的转变,因为它允许用户随心所欲地改变观看视点,从而给人更加真实的三维沉浸与立体感。相比较传统的3D-TV,基于深度图像的视点合成技术(Depth-Image-Based Rendering,DIBR)不需要编码与传输大量的多视点视频数据,而只需要采集获取有限几个视点的纹理和深度图像,在相机参数已知的条件下,利用视点合成技术,在三维空间映射合成得到其它多个视点的图像。由于该技术运算速度快,且合成质量高,目前已被国际3D-HEVC(Three Dimensional High Efficiency Video Coding)和国内AVS2-P2-3D等国内外三维视频编解码技术标准采用。然而,该技术依然会在合成视点中产生大量的空洞,且合成过程非常依赖深度图像的准确性。不适当的填充方法将使得合成视点出现区块性噪声,而不准确的深度图将在合成视点物体边界造成前景腐蚀或者背景噪声,极大影响观众的观赏体验。因此,如何更准确地填补空洞,如何修正深度图像使合成视点质量更好,成为本文研究的主要内容。针对以上提出的两点问题,本文的研究与主要的优化工作内容如下,优化主要在国内的AVS2-P2-3D参考软件RFD的VSS中进行:1.深度边界检测与空洞扩充技术改进:VSS软件中采用双值边界标定深度图像边界,标记的边界像素不参与映射,本文实验发现,采用单值标定效果更好;参考软件为了去除深度边界噪声采用空洞扩充技术,然而该方法也导致丢失大量原始像素,导致合成视点质量下降,本文建议关闭此技术。2.空洞周边及被遮挡背景像素的空洞填补:本技术对AVS2-3D参考软件RFD6.01中的视点合成参考软件VSS中的空洞填补技术进行改进。根据空洞的原理和机制,部分空洞由于视间偏移量较大,导致背景像素被前景完全遮挡,使得空洞左右两边不存在背景像素。本文针对这类空洞提出一种新的填补方案:利用空洞周围以及在映射过程中被遮挡的背景像素作为填充模板。实验过程中发现,当前通测序列所给出的深度图像极不准确,由此本文引入了左右参考视点相互映射参考的方法作为判定当前深度图像准确度的依据。若深度图准确,那么应用本文所提出的技术;如果深度图像不准确,则保持原有技术不变。3.基于MRF的深度图像滤波技术:实验表明,通测序列深度图像在边界处存在大量噪声,影响合成虚拟视点质量。本文提出一种基于MRF(Markov Random Field,MRF)的深度图像滤波方法,利用Mean shift和SLIC(Simple Linear Iterative Cluster,SLIC)的分割块建立MRF模型,对深度图像进行滤波。实验结果显示,利用滤波后的深度图像进行视点合成,合成质量有显著提升。