多媒体信息技术的发展带动着三维视频、多视点视频、自由视点视频的应用。多视点彩色加深度(Mul-tiview Video plus Depth,MVD)的视频格式在实现自由视点视频的过程中被较为广泛的使用。此种视频表现格式有利于在解码端利用有限的视点信息合成出一定范围内的任意视点,实现自由视点视频。MVD相较于传统的只对纹理图进行编码的方式,增加了深度信息,可获得更多的场景内容,有利于在解码端更好的进行场景重构,而且深度图比彩色图具有更加平滑的特性,能进行更大效率的压缩。基于深度的虚拟视点合成(Depth Image Based Rendering,DIBR)过程简单、时间复杂度低、合成效果好。不过,DIBR方法在实现过程中,还存在着某些缺陷。首先,合成视点的质量对深度图的质量有很强的依赖性。深度图在压缩和传输中会出现失真,容易造成绘制的图像不准确;其次,当场景处在不均匀光照条件下时,合成的视点与参考视点会出现视点间不一致的现象。所以本文针对DIBR技术中存在的问题提出了以下创新技术。本文的主要工作点和创新:(1)提出了一个恢复合成视点真实光照的算法。先将多幅左、右参考视点图像进行均值求解去除光照,然后进行视点合成。将要合成的光照情况与均值图像分块进行一维线性的最小二乘法拟合,在每个块内可得到一个一维线性关系表达式。最后将去光照的合成视点利用得到的一维线性关系表达式恢复出真实的光照情况。从实验结果可以看出该算法有效的解决了在非均匀光照条件下,视点合成时视点间颜色和亮度不一致的问题,也可以缓解视点合成中由于深度图不准和映射误差造成的像素点偏移的问题,同时对均匀光照也有较好的处理效果。(2)提出了一个采用多深度融合方式对编码后的深度图进行修复的算法。本方法采用了一个多深度融合的框架,对编码后的深度图进行恢复。首先将左、右视点分别利用DIBR技术映射到目标视点,作为目标视点的参考。再对中间视点的纹路图进行SLIC(Simple Linear Iterative Clustering)超像素分割,并将纹理图的超像素分割结果映射到深度图的相同位置,因为深度图经过编码后图像边缘信息较大部分被损坏,以此可恢复出深度图的更多的边缘。最后对每个超像素块内的深度值进行聚类滤波(Cluster-based Filter,CBF)滤除由于编码量化引入的深度值误差。该算法有效的去除了由于压缩过程中分块编码与量化而产生的块效应,通过有效利用视点间的相关性,在编码端不需要另外增加传输信息的前提下为目标视点提供更多的参考信息,重建出高质量的深度图。客观上,峰值信噪比(Peak Signal to Noise Ratio,PSNR)平均提高了2.0074dB。