论文部分内容阅读
纹理是一种重要的视觉线索,反映了人类对于物体表面信息的视觉感知。人脸二维图像上反映的纹理并非是三维人脸曲面真实的纹理,并且受光照和妆容的影响很大。而三维纹理由于记录了物体表面反复出现的局部几何模式,对于面部光学信息的变化不敏感,有效克服了二维纹理的不足。在此背景下开展了基于三维纹理特征的人脸识别方法的研究,主要的工作内容总结如下:1)三维人脸预处理步骤中通常需要笔尖点的精确位置,本文对于常见的三种笔尖点定位方法,即基于最大Z坐标值的方法,基于形状指数的方法和基于水平切片的方法进行了详细的介绍,归纳了各自的优缺点,并且在人脸的姿态和遮挡发生变化的情况下进行了笔尖点定位的实验分析。2)对传统人为设计的三维纹理特征Mesh-LBP(Mesh-Local Binary Pattern)进行了改进,提出了对噪声和表情变化更加鲁棒的Mesh-tLBP算子和Mesh-MBP算子,以及对人脸细节挖掘能力更强的Mesh-LTP算子。并且对于计算得到的Mesh-LBP模式,归纳总结了三种不同的使用方法,即整体直方图、局部分块直方图和整体编码图像。利用提出的改进算子,在CASIA三维人脸数据集中包含表情和姿态变化的人脸上进行了识别实验,结果表明Mesh-tLBP算子结合局部分块直方图统计方法能够进一步提升识别的性能。3)采用VGG16网络直接从三维人脸数据中学习得到MSD3DP(Multi-Scale Deep3D Pattern)特征。针对网络采用何种三维数据输入格式的问题,提出了结合GridFit算法插值拟合得到三维人脸DAE图像;针对三维人脸数据稀缺的问题,采用了表情、姿态和遮挡三种增强算法进行扩增;针对三维人脸DAE图像相对平滑的特性,引入了多尺度模块。最后采用AM-Softmax(Additive Margin Softmax)损失函数训练了一个多尺度VGG16网络用于提取MSD3DP纹理特征,在CASIA和Bosphorus两个三维人脸数据集中进行了识别实验,结果表明MSD3DP特征具有很好的识别性能,并且对表情变化非常鲁棒。