基于样本学习的人脸超分辨率重建技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:kage
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸超分辨率图像重建是图像处理领域的一个典型的病态逆问题。与传统的超分辨率不同的是,人脸超分辨率主要针对单帧图像进行重建,在重建过程中利用图像先验信息补偿缺失的图像细节。基于样本学习的人脸超分辨率成为近年来的研究热点,其主要思想是利用高、低分辨率图像对之间的对应关系,为重建工作提供了有效的模型与数据保证。然而,依然存在两个需要解决的问题:第一,怎样实现样本候选块选择的最优化;第二,怎样使低分辨率到高分辨率的样本映射的准确性得到有效提高。本文围绕着如何提高样本学习在人脸超分辨率重建过程中的有效性这一核心问题展开了相关研究。基于主成分分析(PCA)的方法被广泛应用于人脸超分辨率重建,但它们包含两个主要缺点:第一,整体PCA模型生成的结果趋向于中值脸,与真实的人脸图像不太相像;第二,PCA的系数包含负值,这些负值在重建结果中的意义很难解释。本文提出了利用非负矩阵分解(NMF)的重建方法。首先,利用NMF对高/低分辨率的样本库进行训练,得到所需的特征对。其次,为了使高/低分辨率NMF系数的相关性最大化从而提高样本对的映射准确性,利用标准相关分析(CCA)将NMF系数映射到相关子空间,并利用该子空间对目标图像进行重建。最后,利用HCNMF学习低分辨率残差空间与高分辨率残差空间之间的关系并基于这种关系推导高分辨率残差,从而进一步恢复高频信息。实验证明,本文算法与其它方法相比,不仅重建结果具有更好的可视化效果,而且PSNR和SSIM数据也更有说服力。人脸图像的细节信息在不同分辨率下具有一定的相似度,而且这种相似度在定条件下具有可再生的能力。基于样本学习的人脸超分辨率重建正是利用这一特性为重建提供所需的先验信息。然而在实际的重建过程中存在两个问题:第一,无法找到数据库中存在的最优的高分辨率候选块,从而限制了图像的重建质量;第二,样本块大小的选取直接关系到重建的效果。鉴于此,本文提出了分类自适应稀疏表示的重建算法。首先,根据图像块结构特性的差异,对图像块进行分类,不仅有利于提高字典重构的精确性,而且可以降低算法的时间复杂度。其次,在同类别的图像块中进行样本块大小的自适应训练,对于边缘区域和不规则区域可以保持结构信息以及纹理信息的完整性,对于平滑区域可以避免块效应及接缝效应的产生。实验证明,本文算法比其它方法能够获得更好的重建效果。由于人脸图像变化的高度复杂性和非线性,高/低分辨率训练样本对之间的关系必然是非线性的。然而,大量的人脸超分辨率算法均假设高分辨率与低分辨率训练样本对之间存在线性映射关系,这就必将导致错误结果。鉴于此,本文提出了基玗核方法的重建算法,由于图像数据在高维特征空间中具有线性化的特点,所以利用非线性核映射进行图像空间空间的转变,有利于提高样本映射的准确性。首先,利用核局部保持投影(KLPP)进行空间转换,使图像数据的映射关系线性化。其次,为了获得不仅具备所需的高分辨率人脸细节而且忠于输入人脸图像,图像降质模型被采用以强化目标高分辨率图像的降质估计,也就是说,使它与实际的低分辨率观测结果更接近。实验证明,基于核方法的重建算法能够产生可信的高分辨率人脸图像,而图像降质模型的引入所施加的约束使重建结果与输入图像尽量保持一致,并且减少了由于部分精细纹理的错误删除而导致的图像扭曲。大量的实验结果证明,本文提出的算法比其它的方法具有更好的客观质量与主观效果。
其他文献
随着各种相关需求的不断增加,X射线检测技术已得到了广泛的应用,在医疗诊断、安全检查、航空航天、工业检测等领域均发挥着重要的作用,已然成为我们生产生活中不可或缺的部分
随着科技的飞速发展,AutoCAD的建筑制图在建筑领域得到了广泛的应用,并且受到了更多的关注。文章从建筑制图中AutoCAD的教学应用;AutoCAD的初始设置应用与AutoCAD制图设置应
培养学生的语言综合运用能力,是英语课程任务的核心目标。作为初中英语教学中最为重要的内容,阅读理解在英语学习中的地位越来越高。阅读不仅能激发学生学习英语的积极性、扩大
场景三维重建是机器视觉的核心任务之一,也是机器人研究领域中的一个重要研究方向。随着各种机器人在数字城市、智慧城市中执行实时监控、探测、救援甚至作为替身等任务的需
传统企业内部存在很多不同平台、不同数据库、不同数据交换形式的信息系统。如何有效地整合这些信息系统、提高企业整体运作效率已经成为现代企业急需解决的问题。本文提出了
近年来,对于危害人体健康与污染环境的分子或离子的检测已受到环保部门及研究人员的重视,但传统的色谱、光谱及电化学等分析方法,存在分析成本高昂且涉及复杂的样品预处理等问题,因而限制了它们更为广泛的应用。荧光探针具有简便、快速、灵敏度和选择性好的特点已成为当前分析检测领域的研究热点,其中,基于碳量子点(CQDs)的荧光探针与传统半导体量子点和有机染料相比具有更好的水溶性、荧光稳定性、抗光漂白性、生物相容
智能工厂中,许多传统的供应链正在从静态序列转变为动态的互联系统,即转变为智能供应链,这样就可以更容易地纳入生态系统合作伙伴,并随着时间的推移演变为更为优化的状态。本