论文部分内容阅读
人脸三维重建与识别一直是计算机视觉、计算机图形学与模式识别领域中的热点研究内容。作为人脸视觉感知技术的一部分,它在身份认证、视频监控、人机交互、娱乐动画等领域有着广泛的应用前景。现有的人脸重建与识别方法在受控条件下均能取得较好的性能,但受限于人脸图像平滑,以及遮挡、姿态、光照、异质模态等采集环境变化的影响,真实感人脸模型重建与人脸识别都受到了很大的挑战。
在对前人工作进行分析总结的基础上,本文深入研究了基于静态图像的人脸三维重建技术,并结合三维模型,针对人脸图像识别问题提出了应对不同干扰的解决方法。该研究课题基于这样的出发点,不同的应用场合对人脸模型的精度和平滑度的要求不同,需要研究多种三维重建方法;恢复人脸三维形状,可以有效补偿人脸成像中的特征丢失,增强环境变化下人脸识别的鲁棒性。具体丽言,本文的主要工作和贡献可归纳如下:
1、基于标准模型形变的人脸三维重建。(1)针对传统的主动形状模型(ASM)中初始化敏感与姿态鲁棒性低的问题,提出了一种基于关键点定位与三维形状约束的多层ASM形状定位策略。该方法有效利用了人脸形状中器官关键点定位精度最高,而轮廓点最低的特性,通过关键点定位结果构建径向基函数变换模型(RBF)来实现其它形状点的初始化,提高了整体形状的初始化精度;进一步,通过估计人脸三维姿态获得轮廓点的平面偏移,避免了初始化与迭代中原始二维仿射变换对轮廓点的估计不足,同时提高了ASM的定位精度与姿态鲁棒性;(2)针对直接基于二维形状点的模型形变容易在人脸姿态变化时出现模型扭曲的问题,采用前述姿态估计方法基于原始人脸进行迭代的模型变形和姿态矫正,提高了重建模型的平滑性与真实度。
2、基于双目立体视觉的人脸三维重建。(1)针对人脸图像过于平滑而难以获得稳定的关键点匹配的问题,提出了基于LOG算子的关键点检测与RBF的匹配扩展方法。该方法有效提高了传统SIFT算子中DOG检测子所获得的角点密度,进而通过建立已匹配点对与未匹配点之间的映射模型来获得匹配点扩展,改善了传统三角面片扩展中的区域误匹配性,实现了分布合理且数目充分的关键点匹配:(2)针对全局匹配模型噪声较多而局部匹配过于平滑的特性,提出了全局匹配与局部匹配结合的稠密匹配方法。先通过种子点繁殖的双向匹配来获得稳定的匹配点,进而对匹配点之间的空洞采用边缘的动态规划来进行填补,恢复了足够平滑且准确的人脸三维形状。
3、基于三维模型的眼镜遮挡下人脸识别。针对现有解决眼镜遮挡的算法容易造成图像纹理特征失真的问题,提出了基于三维人脸模型生成眼镜遮挡下人脸虚拟样本来扩充样本库的方法。该方法将眼镜遮挡下图像看作整体,通过人脸三维重建来还原眼镜对图像的遮档。有效消除了眼镜多样性带来的人脸纹理不稳定。进一步,针对眼镜镜片固有的反光与模糊现象,分别提出了束光源与混合纹理的方法来进行模拟,提高了虚拟样本的真实感。虚拟样本的思路和镜片的细节处理均提高了人脸识别性能。
4、基于三维人脸对齐的异源模态下人脸识别。针对人脸识别中的光照与异质模态,分别提出了三维人脸对齐的同源图像重构与识别的方法。根据人脸图像的成像原理,人脸表面法向是影响光照模板与人脸纹理细节的主要因素,采用通用三维模型可以有效消除其干扰。基于此,针对光照变化,提出了图像分块的光照分类与线性映射模型的无光照图像重构方法;针对异质模态,提出了最大后验概率的贝叶斯映射模型来恢复同源图像。鉴于光照与异质模态下成像原理的不同,两类映射模型均实现了真实感的人脸图像重构,并提升了对应环境下的人脸识别性能。
5、基于深度图像与纹理图像融合的三维人脸识别。针对传统的三维人脸识别系统计算复杂度过高的问题,提出了一种快速有效的人脸点云预处理框架,并结合二维人脸识别提出了图像层面的融合方法。首先,基于人脸形状的几何先验知识,通过拟合人脸对称平面来定位鼻尖,避免了曲率定位方法的低效。其次,在投影获得深度图像和纹理图像之后,通过图像层面的融合,在改进的ULBP特征和LDA下,有效提升了三维人脸识别的性能和效率。该融合方法也优于其他特征与决策级的融合方法。