自古以来,人脸都是一个人身份的最直接代表。人脸图像特异性高且易于采集,使得人脸识别系统在当今社会生活中得到了极为广泛的应用。但目前常见的人脸识别系统仍无法较好地处理在实际应用中极为常见的非约束人脸图像。特别是当图像中的人脸存在姿态偏转或外部遮挡时,人脸识别系统的性能会出现显著下降。这是因为姿态偏转引起的自遮挡和物体引起的外部遮挡均会导致人脸身份判别信息的丢失。为了解决人脸图像中的遮挡问题,本文采用从生成到识别的研究思路,提出基于生成对抗网络的两阶段遮挡人脸图像修复模型。该模型能够将同时含有外部遮挡和自遮挡的人脸图像恢复为无遮挡的正面人脸图像,且生成结果能够有效保留人脸身份信息。本文主要研究内容如下:1.针对人脸图像上的外部遮挡,本文提出了基于部分卷积和上下文注意力机制的两级人脸外部遮挡恢复方法。该方法利用部分卷积机制,有效减少了遮挡部分在特征提取阶段引入的噪声,并使本方法能够修复任意形状大小的外部遮挡;上下文注意力机制则使网络能够建立无遮挡区域与遮挡区域的语义关联,使网络能够有效利用人脸结构中的先验信息。实验结果证明本方法的图像生成质量和人脸身份信息保留性能优于现有遮挡修复方法。2.针对人脸图像的自遮挡,本文提出了基于多分支编码器结构的自遮挡人脸图像恢复方法。该方法为每个人脸器官分配了独立的编码器分支,有效提高了人脸器官部分判别性特征的质量。同时,基于对人脸转正任务的理解和人脸结构的观察,本方法引入了对称性约束和人脸特征点约束,有效提高了生成图像质量在大姿态下的稳定性和面部结构信息的正确性。实验结果证明本方法在独立使用和与外部遮挡方法联合使用的情况下均能取得优于同类方法的图像质量和人脸身份信息保留性能。