论文部分内容阅读
目前基于生成对抗网络算法的人脸图像相关应用,包括人脸合成,脸部去妆,表情合成等,是计算机视觉领域的研究热点。其中人脸表情合成算法一直受到研究者的广泛关注。表情合成即通过图像处理算法使得目标人脸图像拥有特定的表情细节。表情合成在日常娱乐、电影特效、公安刑侦面部合成和医疗影像等领域有广阔的应用前景,因而研究人脸表情合成具有重要意义。
本文在研究现有表情合成方法的基础上,提出两种不同类别的表情合成方法,表情生成与表情转移。表情生成算法是将目标人脸图像的表情转换成其它几种特定的表情。当前的基于生成对抗网络的表情生成方法通过图像重建和表情分类对抗网络,可以在保证图像的身份信息不变的前提下有效实现表情的生成。但是这样生成的图像质量不高,且无法将算法应用在动态图像上。表情转移算法是将源人脸图像的表情细节转移到目标人脸图像上。当前的表情转移算法大都基于特征点检测算法,针对特征点进行图像的变形与合成操作。这样的方法非常依赖于特征点的数量和特征点检测的准确性,且生成表情较不真实。
针对上述问题,本文提出了一种新的基于生成对抗网络的表情生成和转移方法。该方法不需要使用人脸特征点检测算法,且生成图像质量稳定,可以应用在动态图像数据中。本文的主要工作和成果如下:
1.针对多特征的人脸表情和属性生成方法,采用基于生成对抗网络的算法进行优化,提出了包括生成器的输入方式、生成网络的模型结构和图像重建相关损失函数,以及判别器的多尺度特征提取网络结构等四个方面的优化,得到更高质量的人脸特征和表情生成的图片。
2.针对表情转移的需求特点,采用新的生成对抗网络结构实现人脸表情的转移算法。主要创新点有三个,分别对应于生成器的网络结构、损失函数,以及用于保持身份信息和表情信息的判别器的网络结构。经过该算法合成的人脸表情图像自然逼真且生成表情不局限于特定类别,可以拥有个性化的表情。
最后通过实验分析分别对比表情生成算法与表情转移算法,实验结果显示通过本文方法训练的网络模型分类准确度更高,经过该网络模型生成的图像质量也明显优于现有的生成算法。
本文在研究现有表情合成方法的基础上,提出两种不同类别的表情合成方法,表情生成与表情转移。表情生成算法是将目标人脸图像的表情转换成其它几种特定的表情。当前的基于生成对抗网络的表情生成方法通过图像重建和表情分类对抗网络,可以在保证图像的身份信息不变的前提下有效实现表情的生成。但是这样生成的图像质量不高,且无法将算法应用在动态图像上。表情转移算法是将源人脸图像的表情细节转移到目标人脸图像上。当前的表情转移算法大都基于特征点检测算法,针对特征点进行图像的变形与合成操作。这样的方法非常依赖于特征点的数量和特征点检测的准确性,且生成表情较不真实。
针对上述问题,本文提出了一种新的基于生成对抗网络的表情生成和转移方法。该方法不需要使用人脸特征点检测算法,且生成图像质量稳定,可以应用在动态图像数据中。本文的主要工作和成果如下:
1.针对多特征的人脸表情和属性生成方法,采用基于生成对抗网络的算法进行优化,提出了包括生成器的输入方式、生成网络的模型结构和图像重建相关损失函数,以及判别器的多尺度特征提取网络结构等四个方面的优化,得到更高质量的人脸特征和表情生成的图片。
2.针对表情转移的需求特点,采用新的生成对抗网络结构实现人脸表情的转移算法。主要创新点有三个,分别对应于生成器的网络结构、损失函数,以及用于保持身份信息和表情信息的判别器的网络结构。经过该算法合成的人脸表情图像自然逼真且生成表情不局限于特定类别,可以拥有个性化的表情。
最后通过实验分析分别对比表情生成算法与表情转移算法,实验结果显示通过本文方法训练的网络模型分类准确度更高,经过该网络模型生成的图像质量也明显优于现有的生成算法。