论文部分内容阅读
自由视点视频是在3D视频的基础上,允许人们在切换观看视频角度时同样具有立体感。在自由视点视频研究当中,虚拟视点绘制技术占据着重要的位置。基于深度的虚拟视点绘制技术具有速度快,节省带宽和绘制效果好等优点引起了海内外学者的广泛关注。然而采用该技术进行绘制的目标视点视图往往存在空洞、伪轮廓和重采样等诸多问题。为了解决这些问题,提高虚拟视点绘制的质量,学者们提出了许多优秀的算法。本文在前人的研究基础上,针对不同的使用场景,提出了一种双视点参考绘制虚拟视点方法和两种单视点参考绘制虚拟视点方法。其主要工作内容如下:(1)提出一种基于深度图像分割的虚拟视点绘制方法。该方法使用了两个参考视点进行虚拟视点图像绘制,首先使用Canny算子对深度图进行边缘检测,根据绘制的方向标记出不可信区域,然后应用多阈值图像分割技术对深度图像进行分层处理,并用来指导三维图像变换,在此期间辅之以局部均值滤波处理。最后得到的虚拟视点图像主观质量好,与虚拟视点绘制标准参考软件相比,平均的PSNR最大可提高0.74d B。(2)为了在带宽受限的情况下,能够获得质量高的虚拟视点图像,提出一种基于深度引导空洞填补的虚拟视点绘制方法。该方法仅使用了单参考图像,所以与多参考绘制相比,可以节省一半以上的带宽。该方法主要由基于深度插值算法和基于区域的空洞填补两大核心构成,前者主要用于解决绘制过程中的细小空洞问题,而后者则是为了解决绘制场景中大型空洞问题,在Criminisi的算法基础上,改进优先级的计算和最佳匹配块的选择,并且根据不同区域选择最佳的搜索区域。最终绘制得到的虚拟视点图像主客观质量明显优于所对比的算法。(3)针对复杂场景的背景,提出一种基于时空域相结合的空洞填补的虚拟视点绘制方法。该方法主要利用了机器学习当中的高斯混合算法建立背景模型,训练提取出视频序列的背景,然后应用K-means算法将深度图进行前后景划分,根据时域相关性得到深度信息。再将提取的信息进行三维图像变换后应用于空洞填补,并可以针对不同运动特征序列改进填补方法。实验结果表明,通过这种方法绘制得到的虚拟视点图像基本能够满足人眼视觉要求。