基于单张人脸图片的三维人脸重建及其应用研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:yesterday23
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从单张人脸图片进行三维人脸重建在计算机视觉和计算机图形学领域是一个具有挑战性的任务,在人脸矫正、人脸识别、人脸表情迁移、人脸对齐等方面有着非常广泛的应用,所以越来越多的学者开始研究三维人脸重建。
  近年来,随着深度学习的不断发展,基于卷积神经网络的方法受到越来越多的关注。和传统方法相比,基于卷积神经网络的方法泛化性能好、速度快,显著提高了三维人脸重建的质量和效率。基于卷积神经网络的方法通常需要大量的训练数据集,但目前缺乏大量带有真实三维人脸标注的人脸数据集,而且人脸模型比较复杂,以前的方法往往通过三维形变模型使用弱监督学习来进行三维人脸重建。然而目前广泛使用的三维形变模型只是通过200张人脸建立,这会导致重建出的三维人脸模型易丢失细节信息、泛化性能不佳。在损失函数方面,以前的方法大多仅使用特征点和像素层面的信息,这导致卷积神经网络模型容易陷入局部极小值。针对这两个问题,本文提出了一种在姿态、表情和光照未知条件下,基于单张人脸图片的三维人脸重建新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进;然后,在损失函数方面,本文不仅考虑了输入图片和渲染图片在像素层面的差异,还考虑它们在深层特征空间的关系,并结合人脸光滑性建立损失函数;最后,通过消融实验验证了不同模块的有效性。实验结果表明,本算法在基于单张人脸图片的三维人脸重建上取得了不错的效果。对于三维人脸重建任务,在AFLW2000-3D上实现了2.18的归一化平均误差。
  本文将三维人脸重建技术应用到密集人脸对齐和人脸矫正上。对于密集人脸对齐任务,在AFLW2000-3D和AFLW-LFPA上分别实现了3.73和3.23的归一化平均误差。对于人脸矫正任务,基于三维人脸重建的方法受光照、环境、姿态等因素的影响较小,有效改善了现有视频会议系统的用户体验。
其他文献
网络在生活和生产中无处不在,例如社交网络,而网络表示学习(也称网络嵌入)是一种对网络型数据非常有效的处理方法,其旨在为网络中的每个节点都学习一个低维的向量表示。在现实世界中许多网络都是动态的不断变化的,然而大部分现有的算法只能对静态的网络取得较好的效果。动态网络通常可以分成两类:一种是随着时间推移其拓扑图的节点和边会增加或者减少;第二类则是网络的边会包含时间信息,如电话网络。动态网络表示学习算法大
学位
近年来,基于LSM-tree的键值(key-value)存储系统在数据存储领域发挥着重要作用,作为后端存储引擎被广泛部署在数据密集型应用场景下。然而,LSM-tree层次化的、高度有序的数据组织结构需要通过大量的数据合并操作维护,引起了严重的写放大问题。最近的研究工作针对系统架构提出了几类优化方案,虽然缓解了写放大问题,但是不同程度地牺牲了查询性能和空间利用率。为了获得均衡的高性能表现,本文通过分
随着现代城市的迅速发展,大型城市综合体内部及周边巨大的人流量为公共安全带来了严峻的挑战。为了应对这一挑战,需要针对性的人流管理措施,而人流统计和预测则是人流管理的数据基础。  由于人流在时间和空间两个维度上的不确定性,以及缺失数据的存在,精确的人流预测一直是一个具有极高挑战性的任务。近年,已有一些针对城市范围的人流密度预测算法,但这些模型均没有考虑建筑物内部,如城市综合体内的人流模式。  本论文的
随着智能移动设备的广泛使用,一种新的众包形式-空间众包应运而生。空间众包要求工作者到达指定任务位置才能执行任务。本文提出了一种新的空间众包形式,称为时间连续型空间众包。时间连续型空间众包与以往空间众包的不同在于,时间连续型空间众包任务需要长时间的任务周期才能完成任务。时间连续型空间众包在实际生活中存在广泛应用,包括环境监测、交通检测等。  由于任务预算和可分配工作者数量有限,时间连续型空间众包任务
近年来,蓬勃发展的电子信息和网络技术给现代人们的各种日常生活工作方式带来了深刻的社会变革,人们愈发地倾向于以直观的图像和视频为媒介,来理解外部世界和表达自身。这种需求无疑催生了社交媒体平台的爆发式增长,海量的视频数据由这些平台得到分享和传播,并不断涌入我们的生活。在这种情况下,如何对海量的视频数据进行浓缩,抽取出其中的关键信息,从而帮助用户更快更准确地获取自己需要的视频内容,是当今计算机技术领域,
在过去十年中,得益于大规模并行计算架构的广泛部署,人们可利用的计算资源得到了极大提升。如今,在为复杂计算问题设计求解器时,设计并行求解机制以有效利用并行计算平台已变得越来越重要。然而,人工设计并行求解器仍然是一项艰巨的工作。作为一种新的并行求解器设计范式,面向并行启发式算法组的自动构建技术(Automatic Construction of Parallel Heuristic-algorithm
在数据激增的大数据时代,数据挖掘技术正在各行各业中扮演着重要的角色。聚类分析和关联分析是数据挖掘领域中重要的研究课题。聚类分析旨在挖掘出数据中潜在的簇结构,关联分析旨在从数据中发现有意义的关联。传统的聚类分析和关联分析是挖掘数据中所有模式的全局分析技术。当用户只对特定对象感兴趣时,只需要挖掘与给定对象相关的模式。此外,现实中,需要分析的数据是海量的。海量数据的全局信息可能无法获得或者需要很大代价才
学位
性能建模(Performance Modeling)是高性能计算(High Performance Computing,HPC)领域中的重要研究问题。具体而言,性能建模是指利用理论分析或者实验测评的方法,定量描述高性能计算程序的性能与程序输入、系统配置、环境变量等各种因素之间关系。定量的性能模型可以对高性能计算程序在不同的条件下的执行时间进行预测,从而在高性能计算系统的任务调度、资源分配、性能调优
近年来,随着互联网的飞速发展,社交网络逐渐成为人与人之间交互的重要途径和平台,全方位的为人类的生活、工作、娱乐等行为带来了便利,伴随这个过程,互联网同时也产生了大量的数据,这也推动了社交网络挖掘相关工作的发展,借助相关知识,研究者们可以对社交网络中的用户行为进行建模,并对网络中可能发生的事件等进行分析和预测,因此社交网络挖掘也成为数据挖掘领域一个重要的课题。然而,相比于传统的普通静态网络,现实中的
学位
容器(Container)技术作为一种轻量级虚拟化技术得到了迅速发展和广泛关注,并成为云环境的主要部署模型之一。在云计算(Cloud Computing)领域,基于容器技术形成了新型服务模式:容器即服务(Container as a Service,CaaS)。在CaaS服务模式下,容器运行在主机所托管的虚拟机中。由于云环境的复杂性和动态性,云数据中心可能会出现高能耗、资源利用率低下、服务水平协议
学位