基于生成式对抗网络的人脸表情合成研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:wmrik
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸表情合成在人脸识别、动画制作、人机交互等领域有着广泛的应用。然而,由于面部表情的非线性变化,表情合成是一个具有挑战性的任务。生成式对抗网络在图像合成任务上表现出的优越性一定程度上解决了传统方法存在的问题。现有的方法主要是针对表情类别进行合成,但缺乏对表情强度的细粒度控制。本文主要针对表情的不同强度进行研究,基于生成式对抗网络合成具有不同表情强度的真实感人脸图像。本文主要提出了两种方法:1)融合注意力机制的表情合成算法我们人工的根据表情的不同强度将数据集进行划分成不同强度类别。该算法基于条件生成对抗网络以一种监督的方式实现不同强度的合成。同时使用通道和空间的两种注意力机制,使网络能够集中在表情强度相关的面部部位。为了使生成的图像尽可能地接近真实的目标,提出使用了像素损失,以最小化ground-truth和生成图像之间的差异。另外,鉴别器在判别真假的同时也能判别表情强度。在3个数据集上进行了一系列的实验,结果证明了我们的方法在合成不同强度的人脸表情图像上的有效性。2)基于多尺度特征融合的表情合成算法不同尺度间的特征包含不同层次的信息,低层特征关注的是局部细节而高层特征是抽象的全局信息。我们以一种基于注意力的融合方式对不同尺度的特征进行加权融合,从而获得更全面的特征信息。这种方式同时包含了低层细节信息和高层全局信息,减少了图像生成过程中的细节丢失问题,同时使用注意力的融合方式在对多尺度特征进行融合时使网络更关注与表情变化相关的部分。经过一系列实验验证了该算法的有效性。
其他文献
随着计算机技术和传感器技术的成熟,智能机器人已应用到工业、服务业、农业等多个领域,果园机械化是农业生产机械化的一个重要组成部分。利用果园机器人代替人工作业,能够有效提高果园作业自动化程度,提高生产效率,扩大果园种植规模。果园机器人的定位导航技术是果园机器人实现自主作业功能的一个重要基础,本文针对果园环境,设计了一种果园机器人的定位导航系统,开展并完成了如下主要工作:(1)通过对果园机器人定位导航系
近年来,由于多智能体系统在分布式计算、传感器网络及机器人编队等方面的广泛应用,受到了越来越多研究者的关注。在多智能体系统协同控制中,最基本的研究问题之一是一致性问题。一致性是指随着时间的推移,最终每个智能体的状态趋于一致。通过设计分布式控制协议来实现一致性,其中每个智能体仅和它相邻的智能体进行信息交换,本文采用新型的比例积分(PI)形式的控制协议来解决一致性问题。此外,由于速度的限制,各智能体在传
随着武器装备朝着更高精度、更高速度方向发展,对武器装备伺服系统的动态性能、控制精度、鲁棒性等也提出了更高的要求。针对武器伺服系统大功率、高精度、强鲁棒性的控制需求,本文研究了一类多电机同步驱动伺服系统,具体内容如下:首先,在对单电机伺服系统和齿隙、摩擦非线性模型详细研究的基础上,建立了四电机同步驱动伺服系统动力学模型。其次,针对传统多电机同步控制策略存在的不足,设计了一种基于虚拟主轴和改进相邻交叉
随着土木工程产业的快速发展,国内外各类建筑行业对混凝土的需求量不断提高,作为混凝土主要成分之一的砂石需求量也随之增多。不同应用中使用的混凝土对砂石颗粒大小的要求各不相同。如何智能化的检测砂石粒径大小,提升土木工程行业的生产效率是亟待解决的研究问题。从图像处理角度出发,本文在分析传统方法检测粒径大小存在问题的基础上,根据砂石颗粒紧密粘连且相互遮挡的特点,提出了一种基于两阶段深度学习的砂石图像粒径检测
随着计算机通信技术和分布式控制的飞速发展,多智能体系统协同控制在近年来成为了控制领域的一个研究热点,并在工业、军事、交通等领域得到了广泛的应用。其中,包含控制作为多智能体系统协同控制的重要课题,极具现实意义和研究价值。本文主要针对几类高阶非线性多智能体系统展开了包含控制问题的研究,考虑到智能体之间通信带宽和自身计算能力的有限性,采用了事件触发和自触发的控制策略保证系统实现包含控制且排除Zeno现象
时滞现象被认为是造成动力系统振荡,不稳定和性能差的主要原因,因此受到了国内外学者的极大关注。相比于常规系统,广义系统能够对物理系统进行更好的描述,被广泛应用于经济系统、化工过程、电路系统、机器人系统、网络控制系统、空间导航系统和生物系统等不同领域。因此,对广义时滞系统进行分析和研究具有重大的理论和实际意义。本文分别以广义常时滞系统和广义时变时滞系统为研究对象,进行了以下工作:(1)研究了广义常时滞
主动光学技术是指在拼接式望远镜中,对其出现的变形以及偏移等进行自我修复的一项技术,而望远镜子镜之间微小位移的测量是主动光学系统的关键技术。本文针对应用于主动光学系统的新型电容式微位移传感器,研制了一种信号处理系统,以实现对微小位移的实时精密测量。本文在对基于主动光学微位移传感器及数字信号处理技术发展现状深入研究的基础上设计了一种基于浮点型DSPTMS320F28335的微位移传感器信号处理系统,主
随着物联网技术、互联网技术以及设备远程监控技术的不断发展,基于Web的远程在线监控系统逐渐成为工业、医疗、农业及气候学等领域研究和开发的热点。基于Web的设备远程在线监控系统对实现工业生产现代化、企业管理信息化及实验室设备管理自动化等方面具有非常重要的意义。本文分析了远程在线监控系统的发展与现状,对基于Web的设备远程在线监控系统进行了研究与设计。首先,本文分析了设备远程在线监控系统的功能与性能需
人体动作识别是指将对应的动作类别标记到包涵人类动作的视频序列的过程,人类行为的不明确性和复杂性使得行为识别的任务变得困难。作为人工智能计算机视觉领域人类行为理解的一个关键课题,人类动作识别在人机交互、视频检索、视频监控、智能家居等领域有广阔的应用前景。而随着深度传感设备的发展,三维骨架视频数据因其抗仿射变换、抗光照和环境变化、和对视角变化鲁棒等优良特性导致基于骨架数据的动作识别任务被研究人员广泛关
近年来随着人民物质生活水平的提高,老龄化的趋势日益加快。人口老龄化问题对我国养老服务造成了巨大压力。老年人陪护尤其是高龄老人的陪护问题已成为越来越亟待解决的社会问题之一。陪护机器人是一种典型的服务机器人,其能完成陪护工作的前提是有一个安全可靠的定位导航。本文设计并开发了一种智能陪护机器人定位导航系统,所设计的系统可用于家庭、敬老院等室内场景进行陪护任务。具体开展了以下工作:第一、对智能陪护机器人进