基于无监督学习的人脸超分辨率深度方法研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:smxsnjzch
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸图像是反映人的外貌和身份信息的重要载体之一,在社会生活的各个方面都有应用。受人脸成像过程中的各种外界因素影响,图像退化为低清的降质图像。本文以降质的人脸图像作为研究对象,在大尺度人脸超分辨率和小尺度人脸盲超分辨两个问题上,以深度生成先验和图像鉴别性先验为切入点,在无监督学习的理论框架下探讨人脸图像的超分辨率算法。主要工作如下:1.在大尺度的人脸图像超分辨率问题上,m GAN应用GAN Inversion理论在人脸超分辨率任务上,很难重建真实感强的人脸图像,本文设计了更鲁棒的人脸超分辨率方法m GAN+。一方面,通过对PGGAN中不同层的知识表征进行实验分析,发现不同层的语义层次偏向不同,因此将多重隐编码分组在不同层进行迭代优化,结合本文提出的耦合特征惩罚项,丰富了多重隐编码的语义信息,进而增强了重建人脸的真实感。另一方面,为保证重建后的人脸图像身份不发生改变,引入了Arc Face人脸识别损失对多重隐编码的语义信息进行约束,有效地保持了人脸图像的身份特征。在三个不同大小的超分因子下,通过实验验证了m GAN+相较于m GAN的优越性与鲁棒性。2.在小尺度的人脸图像盲超分辨问题上,基于深度生成先验的盲去模糊基线模型不足以解决复杂模糊下的人脸盲超分辨问题,鉴于图像鉴别性先验在传统图像复原问题上的出色表现,本文将鉴别性先验知识以损失函数的形式融入到图像的复原过程中,以图像先验结合深度先验的方式,共同驱动盲超分辨模型高质量地恢复人脸图像。具体地,本文从盲去模糊内生的需求出发,从偏微分方程的角度分析了一个好的鉴别性先验应该具有哪些特征,受Welsch/Leclerc损失的启发提出了新的鉴别性先验RDP-Lec。在人脸盲去模糊和盲超分辨两个任务上,通过实验验证了鉴别项先验对于无监督人脸盲超分模型的重要性。
其他文献
随着科学技术的不断发展,人类社会已步入人工智能时代。当前,人工智能的发展已从机器智能发展到感知智能,并逐步迈向认知智能。人机交互作为认知智能的一种表现方式,离不开情感识别技术的支持。以往的情感识别技术大多是建立在单一模态的基础上,识别率低、鲁棒性差,因此,越来越多的研究集中在多模态情感识别上。多模态情感识别有两大关键问题,其一在于如何提取出有区别的情感特征,其二在于如何进行不同模态信息的有效融合。
学位
随着信息时代的快速发展,人们对自旋电子器件、纳米电子器件、光电器件等领域的需求日益增长,而二维(2D)范德华(vd W)磁性材料的出现对其研究发展提供了新的方向。传统上,2D vd W磁性材料是研究低维磁性材料系统的主要候选材料。目前,实验上制备出的许多2D材料并不含有铁磁序,即便存在少量的铁磁序材料,其铁磁性仍不够稳定。面对这种情况,如何调控2D材料磁性成为了迫切需要研究的课题。同时,随着计算机
学位
信息技术的飞速发展带动了人机交互方式的改变,传统主流交互方式以键鼠交互为主,交互主体需要适应交互客体,需要一定的学习成本。随着对手势研究的不断完善,基于手势交互的应用大量诞生,在装配领域,尤其是复杂产品装配领域,采用手势可以让使用者具有更好的、沉浸式交互体验。对比国外,国内用于复杂产品的三维建模软件比较匮乏,对国外依赖严重。以往都是在国外已有软件基础上进行开发,很多软件并非完全开源。为了实现自主可
学位
近年来,随着社交媒体和电商平台的快速发展,每天都会产生大量的评论,并且这些评论具有丰富的情感信息。如果能够基于这些评论文本,挖掘用户的情感倾向,无论对平台还是用户,都具有重要作用。文本情感分析领域,主要分为篇章级、句子级和方面级。针对评论文本特点,更加适用于方面级情感分析。因此,论文主要研究对评论中方面词的抽取和对给定方面词情感极性的判别。论文的主要工作内容如下:(1)在方面级情感分析领域中,首先
学位
无轴承开关磁阻电机(BSRM,Bearingless Switched Reluctance Motor)集成了开关磁阻电机(SRM,Switched Reluctance Motor)与磁轴承于一体,能同时实现电机的旋转与悬浮。BSRM具有体积小、重量轻、高速性能好等优点,在航空航天、飞轮储能等高速领域具有显著应用特色。传统12/8极BSRM转矩和悬浮力间具有强耦合,耦合的存在严重制约了电机的输
学位
如今通信技术迅速发展,半双工D2D(Device-to-Device,设备到设备)通信受到越来越广泛的关注。虽然该技术在一定程度上提高了通信质量,但是日益严峻的信息安全和资源耗竭等问题成为其进一步发展的绊脚石。同时同频全双工技术是5G(Fifth Generation,第5代移动通信网络)的关键技术之一。一方面,将其运用到D2D通信系统的合法用户中,不仅可以提高资源利用率,还能提高系统通信的安全性
学位
互联网快速发展给用户带来了巨大便利,用户可以从互联网上得到各种信息,但随着信息的爆炸性增长,用户精准地获取知识已变得越来越困难。一般来说,用户会使用搜索引擎查询其所希望得到的答案,但目前的搜索引擎通常只是检索用户输入问题的关键词,并不考虑被检索问题的上下文语义,因此经常出现查询不到所需答案的情况。同时,随着用户参与意识的增强,网民逐步从知识的获取者转变为生产者和分享者,因此,社区问答网站如Quor
学位
随着生物制药技术的快速发展,预测药物与药物之间的相互作用已成为药代动力学研究中的必要环节。传统的人工药物实验方法成本高且耗时久,而深度学习与药物大数据结合的方法因其快速、高效、成本低的优势逐渐成为预测药物间相互作用的重要手段。随着知识图谱和深度学习的不断发展,基于药物知识图谱和图神经网络的药物间相互作用预测模型受到广泛关注。本文首先提出了基于图卷积网络的药物间相互作用预测算法,利用药物的药理、化学
学位
最近几年,随着电子商务、增强/虚拟现实(AR/VR)等新兴移动应用的迅速发展,移动用户的计算需求不断增加。在传统的移动云计算架构中,移动用户可以通过基站将其任务卸载到远程云服务器,并利用这些云服务器代为执行任务,然而由于这种模式会不可避免地使移动用户面临高服务延迟,在如今已经不能提供优质的用户体验。在过去的几年中,移动边缘计算已经逐渐成为热门的研究方向,其中边缘服务器的放置也受到了广泛的关注,边缘
学位
碳排放是导致全球变暖的主要原因,各个国家一直注重于碳减排工作以解决全球变暖的气候变化问题,碳排放权交易市场是减少碳排放和应对全球气候变化的重要途径。作为最大的碳排放国家之一,我国非常重视全球气候变化问题。自2013年以来陆续启动了碳排放权交易试点市场,并于2021年7月启动了全国统一碳排放权交易市场,旨在利用市场机制进行节能减排,实现绿色低碳发展,为解决全球气候变化问题作出贡献。本文通过以我国启动
学位