随着摄影摄像类应用的火热,视频人脸替换技术成为了当今计算机视觉领域的一个研究热点,并在社交娱乐、隐私保护等方面具有广泛应用。目前视频人脸替换方法大致分为了基于二维信息和基于三维信息两种人脸替换方法。由于传统的基于二维信息的视频人脸替换是通过拍摄源人脸对目标人脸进行模仿的视频,来完成视频人脸替换的操作。但是当目标人脸存在角度偏转时,源人脸无法精确模仿相应的偏转角度,导致替换后的人脸出现抖动现象。针对上述问题,本课题利用人脸的三维信息完成了定向的视频中的人脸替换。本课题中的方法主要分为基于序列图像的人脸三维重建和视频人脸替换两个阶段。(1)基于序列图像的人脸三维重建阶段中,在人脸特征提取与匹配过程提出了改进的SIFT(Scale Invariant Feature Transform)结合余弦相似度的人脸匹配算法。通过将原始的SIFT算子的矩形特征描述符改为4个同心圆构成的描述符,对原始的SIFT算法的128维特征描述向量进行了降维。利用双向匹配消除了一对多的误匹配点,利用余弦相似度作为约束消除了大量的交叉误匹配现象。算法整体在保证人脸匹配准确率的情况下,降低了时间复杂度,将算法的效率提升了2～2.5倍,提升了整体源人脸三维点云重建的可靠性。(2)视频人脸替换阶段,采用Seetaface人脸检测模块进行人脸检测,同时使用卷积神经网络对检测出的人脸进行人脸角度姿态估计,将生成的源人脸模型根据目标人脸的角度参数进行调整并映射出对应的二维图像。利用监督下降方法(Supervised Descent Method,SDM)进行人脸特征点的定位,确定出人脸轮廓与五官像素块。而后利用结合对齐度准则的视频人脸配准方法进行视频相邻帧之间的人脸配准,相邻帧之间的人脸轮廓进行对齐。最终采用泊松融合算法将源人脸的序列图像与目标人脸的视频片段进行人脸融合,完成对目标视频定向的逐帧人脸替换。本文在FEI人脸数据库上对改进的SIFT结合余弦相似度的人脸匹配算法进行了深入的实验研究,并从多角度与传统算法进行对比。由实验结果可知,本文的人脸匹配算法与传统算法相比,降低了计算复杂度,提高了匹配的时间效率,使基于三维信息的视频中人脸替换的实时性得以提高。在视频人脸替换部分,本文使用基于三维信息的视频中人脸替换方法,实现了定向的视频人脸替换功能,并对多段视频采用李克特测试进行评价。实验结果表明,本文处理的视频片段具有很好的鲁棒性,真实感强。