论文部分内容阅读
图像修复是一种常见的图像编辑操作,其目的是用新生成的内容填充图像中的缺失或遮蔽的区域。新生成的内容既可以与原图像一样精确,也可以简单地适配在周围的像素中,使得修复后的图像从视觉上看起来真实。其中人脸图像修复是一项非常具有挑战性的任务,特别是修复大面积损坏或者缺失人脸的重要部分的图像,比如眼睛、鼻子、嘴巴等。近几年,基于生成对抗网络的图像修复算法表现卓越,它能够生成出全新的、之前从未出现的像素,而且生成的图像清晰逼真。除此之外,对于修复损坏严重的图像或者任意形状破损区域的图像,都有很好的表现。对此,本文设计了一种新的基于生成对抗网络的人脸图像修复算法,旨在解决修复大面积破损区域的人脸图像或者丢失人脸重要部分的图像。本文基于深度卷积生成对抗网络框架,通过改进其损失函数和网络结构,来提升修复图像的效果。本文通过引入Wasserstein距离和Lipschitz连续性限制手法——梯度惩罚,来改进损失函数,这样不仅提升了模型训练的稳定性,也解决了网络框架训练时出现的模式崩溃问题。同时去掉了判别器最后的Softmax层,降低Softmax的归一化带来的梯度伤害。除此之外,在判别器中,采用层标准化(Layer Normalization)来代替批标准化(Batch Normalization),避免在训练时引入同个批量(batch)中不同样本的相互依赖关系。为了能够获取更加精确的高级表征,生成出轮廓更加清晰的内容,本文也在全局判别器的基础上,增加了一个局部判别器。生成图像后,将新生成的图像和破损的图像融合,为了使融合的边界看起来不突兀,整体图像看起来更加真实,本文也引用了另外一种效果更好的PIE泊松融合算法。本文使用CelebA人脸数据集作为训练集,对网络框架进行训练,LFW人脸数据集作为测试集,经过掩码处理后成为损坏的图像,输入到训练好的模型中进行图像修复。在进行对比实验时,分别从四个不同破损区域进行定性和定量地分析。多组实验结果表明无论是定性还是定量的结果,本文改进后的图像修复算法能够有效的提升修复图像的质量。改进的模型在中间破损区域、左边破损区域、左眼破损区域、嘴巴破损区域的PSNR值分别达到了24.3 dB、23.3dB、28.7 dB、25.6 dB;SSIM值分别达到了0.781、0.761、0.952、0.828。