论文部分内容阅读
图像修补是指去除图像中不需要的景物或者修复缺损区域并使得修复后的图像看起来和谐、自然。由于在照片编辑、影视特效制作和文物保护等领域的广泛应用,图像修补技术一直是计算机图形学、图像处理和计算机视觉交叉领域的一个研究热点。传统的基于单幅图像的图像修补方法本质上是一个欠约束的病态问题,本文提出并研究基于大位移视图的图像修补技术,即利用大位移视点图像中的已知信息来修补当前视点图像中的被遮挡或丢失信息区域。算法的关键是如何将大位移视图中的已知信息转化为当前视图的可用信息并利用其来修补目标区域。首先,本文提出一种基于交互的平面场景分割的方法。在用户的协助下,算法首先交互地将两个视图分割为多个对应的平面场景区域,然后将大位移视图中的相关平面场景区域变换到目标图像视图上;结合基于图割算法的图像拼接、基于纹理合成的边界修复和基于像素融合的缝隙填充技术,我们提出一个适用于多候选平面场景重投影图像的图像修补新算法来修补目标图像。修补结果中存在的亮度差异通过基于泊松方程的图像混合算法消除,以达到无缝的修补效果。然后,注意到由于大位移视图中用于修复目标图像的源图像区域并不是一个平面场景,当它们重投影到当前视图上后可能会形成透视畸变。本文提出一种大位移视图重投影畸变最小化的方法,采用由粗到细的畸变校正算法来消除大位移视图重投影后的透视畸变。算法首先基于平面场景假设,利用单应矩阵将大位移视图的源图像区域做重投影得到初始的校正结果;然后,在颜色恒常性和位移场光滑性的期望下,通过像素对应的能量优化方法松弛两视图之间的公共场景区域存在的畸变;最后,在极线几何、邻域像素的位移场光滑性和颜色一致性约束下,空洞中的像素按照定义的优先级次序依次得到修复。最后,本文研究了一种基于多层次场景聚类与视点一致性合成的方法。我们提出一个由粗到细的多层次场景聚类算法,将传统的单模型拟合方法扩展到多模型拟合,通过对大位移视图与目标图像上特征匹配点集的聚类分析和外点剔除,在采用基础矩阵表示的极线几何模型的约束下将含有多个相对运动刚体的动态场景分割为多个运动模型,在采用单应矩阵表示的平面场景模型的约束下将静态场景分割为多个近平面场景区域。为了解决近平面场景区域重投影后的图像修补问题,我们提出基于蒙太奇和结构位移传播的视点一致性合成算法来缝合空洞区域,它主要包括基于结构位移传播的畸变预校正、基于蒙太奇的空洞缝合和基于结构位移传播的畸变后处理三个步骤。实验证明,我们的方法优于传统的图像修补算法,特别是对于修补具有复杂结构信息的较大丢失信息区域显示出明显的优势。