论文部分内容阅读
人脸超分辨率图像重建是图像处理领域的一个典型的病态逆问题。与传统的超分辨率不同的是,人脸超分辨率主要针对单帧图像进行重建,在重建过程中利用图像先验信息补偿缺失的图像细节。基于样本学习的人脸超分辨率成为近年来的研究热点,其主要思想是利用高、低分辨率图像对之间的对应关系,为重建工作提供了有效的模型与数据保证。然而,依然存在两个需要解决的问题:第一,怎样实现样本候选块选择的最优化;第二,怎样使低分辨率到高分辨率的样本映射的准确性得到有效提高。本文围绕着如何提高样本学习在人脸超分辨率重建过程中的有效性这一核心问题展开了相关研究。基于主成分分析(PCA)的方法被广泛应用于人脸超分辨率重建,但它们包含两个主要缺点:第一,整体PCA模型生成的结果趋向于中值脸,与真实的人脸图像不太相像;第二,PCA的系数包含负值,这些负值在重建结果中的意义很难解释。本文提出了利用非负矩阵分解(NMF)的重建方法。首先,利用NMF对高/低分辨率的样本库进行训练,得到所需的特征对。其次,为了使高/低分辨率NMF系数的相关性最大化从而提高样本对的映射准确性,利用标准相关分析(CCA)将NMF系数映射到相关子空间,并利用该子空间对目标图像进行重建。最后,利用HCNMF学习低分辨率残差空间与高分辨率残差空间之间的关系并基于这种关系推导高分辨率残差,从而进一步恢复高频信息。实验证明,本文算法与其它方法相比,不仅重建结果具有更好的可视化效果,而且PSNR和SSIM数据也更有说服力。人脸图像的细节信息在不同分辨率下具有一定的相似度,而且这种相似度在定条件下具有可再生的能力。基于样本学习的人脸超分辨率重建正是利用这一特性为重建提供所需的先验信息。然而在实际的重建过程中存在两个问题:第一,无法找到数据库中存在的最优的高分辨率候选块,从而限制了图像的重建质量;第二,样本块大小的选取直接关系到重建的效果。鉴于此,本文提出了分类自适应稀疏表示的重建算法。首先,根据图像块结构特性的差异,对图像块进行分类,不仅有利于提高字典重构的精确性,而且可以降低算法的时间复杂度。其次,在同类别的图像块中进行样本块大小的自适应训练,对于边缘区域和不规则区域可以保持结构信息以及纹理信息的完整性,对于平滑区域可以避免块效应及接缝效应的产生。实验证明,本文算法比其它方法能够获得更好的重建效果。由于人脸图像变化的高度复杂性和非线性,高/低分辨率训练样本对之间的关系必然是非线性的。然而,大量的人脸超分辨率算法均假设高分辨率与低分辨率训练样本对之间存在线性映射关系,这就必将导致错误结果。鉴于此,本文提出了基玗核方法的重建算法,由于图像数据在高维特征空间中具有线性化的特点,所以利用非线性核映射进行图像空间空间的转变,有利于提高样本映射的准确性。首先,利用核局部保持投影(KLPP)进行空间转换,使图像数据的映射关系线性化。其次,为了获得不仅具备所需的高分辨率人脸细节而且忠于输入人脸图像,图像降质模型被采用以强化目标高分辨率图像的降质估计,也就是说,使它与实际的低分辨率观测结果更接近。实验证明,基于核方法的重建算法能够产生可信的高分辨率人脸图像,而图像降质模型的引入所施加的约束使重建结果与输入图像尽量保持一致,并且减少了由于部分精细纹理的错误删除而导致的图像扭曲。大量的实验结果证明,本文提出的算法比其它的方法具有更好的客观质量与主观效果。