人脸关键点相关算法研究是计算机视觉中的经典问题之一,其中人脸关键点检测是人脸分析过程中的重要环节。基于准确的关键点检测结果,可以实现人脸姿态估计、表情分析、美妆特效等应用。人脸关键点数据集是训练关键点检测器的基础,且检测器的性能很大程度上依赖于关键点标注的准确性,所以对传统标注方式进行改进使其更加灵活高效就具有十分重要的意义。另一方面,经过多年发展,人脸关键点检测算法的研究场景已经从简单的受控环境发展到复杂的非受控环境,随之带来了一系列挑战,如姿态表情变化、光照、遮挡以及低分辨率等,这些都成为制约人脸关键点算法性能提升的巨大障碍。本文对人脸关键点的标注、检测、应用三个方面进行了深入研究,通过一系列改进算法解决了现有方法中的若干问题。本文的主要贡献如下:1.设计并开发了一种基于三维辅助模型的多模式人脸关键点标注平台,实现人脸关键点的快速、准确标注。该平台通过对人脸图像进行三维可变模型拟合,完成了基于三维辅助信息监督的关键点粗标注;并将图像边缘作为目标模板点对当前关键点进行配准完成关键点的精标注。该平台提供了不同的标注模式,可帮助标注人员实现流程化的高效标注,并建立自定义数据集。2.分析了基于卷积神经网络的人脸关键点检测算法中两种回归方式的利弊,提出了一种新的基于数值坐标回归的方法和一种新的基于热图回归的方法。针对上述两种方法分别设计了基于改进残差单元的残差网络模型以及基于中继监督的级联预测模型,并统一在这两种结构上对损失函数进行了改进。引入基于姿态的数据平衡算法一定程度上解决了数据集中人脸分布不均的问题。利用软极大值函数将网络输出热图转化为数值坐标,使得改进后的基于热图的回归方法能够通过数值坐标损失实现端到端训练,并且在多个数据集上获得了较好的检测效果。3.开展了基于人脸关键点检测的人脸图像合成应用研究。根据是否借助三维人脸模型,设计了两种基于关键点定位结果的虚拟换脸方法,并进行了实验效果对比分析;基于关键点位置生成人脸面部和五官区域“掩膜”,完成人脸肤色调整与妆容合成应用。