论文部分内容阅读
近年来,深度学习技术的飞速发展与广泛利用使得其在计算机视觉领域取得了极大的成功。基于卷积神经网络的图像填充复原技术是当前图像视觉领域的一个热点话题并取得了许多优异成果。作为研究热点之一,图像填充复原具有广泛的应用场景,例如修复缺失的照片、去除头戴设备如眼镜以及去除风景照片中的杂物等。现有的人脸图像填充算法由于人脸纹理复杂等原因,在人脸清晰度和真实性上仍有欠缺。针对上述问题,以恢复出更为真实、清晰的人脸五官为目标,本文提出了一种基于引导图的人脸填充算法。为更有效的利用引导图,本文首先提出大面积遮挡的人脸关键点检测算法。此关键点检测算法使用多层卷积神经网络,分别提取引导图和遮挡人脸图像的特征信息,并使用空间形变网络,将引导图的特征作类仿射变换。实验结果表明,引导图的利用能为遮挡人脸关键点检测提供有力的引导信息,算法能够准确定位具有大面积遮挡的人脸图像的68个关键点位置。以遮挡人脸的关键点为目标坐标,以清晰引导图的关键点为源坐标,利用移动最小二乘平移算法将引导图形变至与遮挡人脸具有相同姿态的形变引导图。实验结果显示,形变后的引导图由于与遮挡图在人脸部位具有相似的姿态,能为网络提供更具有参考意义的引导信息,使得填充的人物更真实,该人物的五官特征得以保持。除此之外,本文在生成对抗网络的基础上,提出了全新的基于全局和多个局部细节的判别网络。多个局部判别网络的提出使得算法更加关注人脸五官的细节信息。我们在CASIA-Web Face数据集上的验证结果表明,多个判别网络的使用能填充复原出更为清晰、自然的效果。同时与之前的研究对比表明,我们的提出的模型在正面的人脸填充上具有很可观的清晰度与人物相似度,在人物侧脸这种比较大的难度下,也能取得有意义的填充效果。