论文部分内容阅读
从单张人脸图片进行三维人脸重建在计算机视觉和计算机图形学领域是一个具有挑战性的任务,在人脸矫正、人脸识别、人脸表情迁移、人脸对齐等方面有着非常广泛的应用,所以越来越多的学者开始研究三维人脸重建。
近年来,随着深度学习的不断发展,基于卷积神经网络的方法受到越来越多的关注。和传统方法相比,基于卷积神经网络的方法泛化性能好、速度快,显著提高了三维人脸重建的质量和效率。基于卷积神经网络的方法通常需要大量的训练数据集,但目前缺乏大量带有真实三维人脸标注的人脸数据集,而且人脸模型比较复杂,以前的方法往往通过三维形变模型使用弱监督学习来进行三维人脸重建。然而目前广泛使用的三维形变模型只是通过200张人脸建立,这会导致重建出的三维人脸模型易丢失细节信息、泛化性能不佳。在损失函数方面,以前的方法大多仅使用特征点和像素层面的信息,这导致卷积神经网络模型容易陷入局部极小值。针对这两个问题,本文提出了一种在姿态、表情和光照未知条件下,基于单张人脸图片的三维人脸重建新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进;然后,在损失函数方面,本文不仅考虑了输入图片和渲染图片在像素层面的差异,还考虑它们在深层特征空间的关系,并结合人脸光滑性建立损失函数;最后,通过消融实验验证了不同模块的有效性。实验结果表明,本算法在基于单张人脸图片的三维人脸重建上取得了不错的效果。对于三维人脸重建任务,在AFLW2000-3D上实现了2.18的归一化平均误差。
本文将三维人脸重建技术应用到密集人脸对齐和人脸矫正上。对于密集人脸对齐任务,在AFLW2000-3D和AFLW-LFPA上分别实现了3.73和3.23的归一化平均误差。对于人脸矫正任务,基于三维人脸重建的方法受光照、环境、姿态等因素的影响较小,有效改善了现有视频会议系统的用户体验。
近年来,随着深度学习的不断发展,基于卷积神经网络的方法受到越来越多的关注。和传统方法相比,基于卷积神经网络的方法泛化性能好、速度快,显著提高了三维人脸重建的质量和效率。基于卷积神经网络的方法通常需要大量的训练数据集,但目前缺乏大量带有真实三维人脸标注的人脸数据集,而且人脸模型比较复杂,以前的方法往往通过三维形变模型使用弱监督学习来进行三维人脸重建。然而目前广泛使用的三维形变模型只是通过200张人脸建立,这会导致重建出的三维人脸模型易丢失细节信息、泛化性能不佳。在损失函数方面,以前的方法大多仅使用特征点和像素层面的信息,这导致卷积神经网络模型容易陷入局部极小值。针对这两个问题,本文提出了一种在姿态、表情和光照未知条件下,基于单张人脸图片的三维人脸重建新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进;然后,在损失函数方面,本文不仅考虑了输入图片和渲染图片在像素层面的差异,还考虑它们在深层特征空间的关系,并结合人脸光滑性建立损失函数;最后,通过消融实验验证了不同模块的有效性。实验结果表明,本算法在基于单张人脸图片的三维人脸重建上取得了不错的效果。对于三维人脸重建任务,在AFLW2000-3D上实现了2.18的归一化平均误差。
本文将三维人脸重建技术应用到密集人脸对齐和人脸矫正上。对于密集人脸对齐任务,在AFLW2000-3D和AFLW-LFPA上分别实现了3.73和3.23的归一化平均误差。对于人脸矫正任务,基于三维人脸重建的方法受光照、环境、姿态等因素的影响较小,有效改善了现有视频会议系统的用户体验。