人脸超分辨率重建是指从一个低分辨率人脸图像重建出相应的高分辨率图像的过程。现有的人脸超分辨率重建算法通常都假设输入图像是对齐且不含噪声,当输入的人脸图像为非对齐图像时,超分辨率重建算法的性能将降低。本文针对非对齐的单帧人脸图像的超分辨率重建进行研究。主要研究成果及贡献如下:(1)、基于驻点邻域和层级聚类回归的非对齐人脸超分辨率重建。将人脸空间统一到小尺寸的人脸图像,用于训练人脸图像字典。该字典的字典原子为聚类中心,对原始的人脸图像进行聚类,得到各个子空间的人脸图像簇。整个训练过程中只需要训练一个全局字典,各个子空间的人脸图像共享这些字典原子。在每个子空间内,搜索各个驻点的邻域,以生成对应的邻域空间。然后学习低分辨率与高分辨率样本特征之间的映射关系,可以得到每个子空间的回归模型。该算法的核心是所有的人脸图像簇共享一个全局字典,但对于同一个驻点,在不同的人脸图像簇内,邻域样本各不相同,这能够更准确地学习局部映射关系。实验结果表明,该方法相比于同类对比算法在Vggface2和CelebA样本库上重建的峰值信噪比值至少提升0.1165 dB,结构相似度提升高达0.1782。(2)、基于层级聚类神经网络回归的非对齐人脸超分辨率重建。在每个人脸图像簇内,通过拉普拉斯金字塔网络训练低分辨率与高分辨率样本之间的映射关系,可以得到每个子空间的回归模型。重建阶段,输入的低分辨率人脸图像选择对应的人脸图像子空间,之后根据该子空间的回归模型预测高分辨率图像。该网络通过多个金字塔层次来逐步重建高分辨率图像,不需要对低分辨率人脸图像进行双立方插值处理,可以直接提取低分辨率输入图像的特征。实验结果表明,该方法比第三章所提方法的峰值信噪比提升0.4634dB,且比其它领先算法具有重建质量和时间复杂度上的优势。