论文部分内容阅读
微表情识别在近几年成为了计算机视觉领域的热点课题,微表情在测谎方面有着重要应用。迄今为止,微表情识别任务还面临着识别率不高、数据集难以收集导致的微表情样本数量不足,以及由于各类微表情诱发难易程度不同导致的样本数量不平衡的挑战。该文从传统特征提取方法入手过渡到使用深度学习的方法提取微表情的特征,具体来说,主要贡献如下:
首先针对微表情总是发生在局部的问题,对经典的来自三个正交平面的局部二值模式(Local Binary Patterns from Three Orthogonal Planes,LBP-TOP)特征做出改进,研究了基于多尺度融合的分块LBP-TOP的微表情识别算法。该算法先遵循LBP-TOP基线方法根据固定网格划分面部区域,然后利用单一面部区域进行分类,取所有面部区域分类准确率的平均值作为阈值挑选有效块,以选择性地融合局部特征,考虑到可能会丢失部分全局信息,选择更多面部子块提取特征并挑选有效块,多尺度的融合全局特征。通过选择有效块降低了特征维度,提高了效率更快和识别精度。
其次使用基于学习的运动放大(Learning-based Motion Magnification,LBMM)网络放大微表情的微小运动,然后从放大后的序列中选取峰值帧作为改进的残差网络(Residual Neural Network,ResNet)的输入,改进的ResNet18采用分部处理并融合的方法,将ResNet18最后一层卷积层的输出特征分为上下两部分,通过这两部分以及其融合特征共同学习,并使用多目标函数来优化网络。解决了由于微表情强度低导致的识别率不高的问题。
最后引入全变分网络(Total Variation Network,TVnet)训练光流,在训练时,要求固定TVnet的一个输入为起始帧(参考帧),另一个输入为该微表情序列中的帧,通过大样本训练TVnet以求得精确的光流信息,然后从输出的光流序列中选择由峰值帧与初始帧求得的光流信息作为改进的ResNet18的输入,在分部处理时加入注意力网络以便挑选更加有鉴别性的特征。解决了由于微表情持续时间短导致的微表情难以识别的问题。实验结果表明,该文中的方法都取得了比之前方法更好的识别准确率。
首先针对微表情总是发生在局部的问题,对经典的来自三个正交平面的局部二值模式(Local Binary Patterns from Three Orthogonal Planes,LBP-TOP)特征做出改进,研究了基于多尺度融合的分块LBP-TOP的微表情识别算法。该算法先遵循LBP-TOP基线方法根据固定网格划分面部区域,然后利用单一面部区域进行分类,取所有面部区域分类准确率的平均值作为阈值挑选有效块,以选择性地融合局部特征,考虑到可能会丢失部分全局信息,选择更多面部子块提取特征并挑选有效块,多尺度的融合全局特征。通过选择有效块降低了特征维度,提高了效率更快和识别精度。
其次使用基于学习的运动放大(Learning-based Motion Magnification,LBMM)网络放大微表情的微小运动,然后从放大后的序列中选取峰值帧作为改进的残差网络(Residual Neural Network,ResNet)的输入,改进的ResNet18采用分部处理并融合的方法,将ResNet18最后一层卷积层的输出特征分为上下两部分,通过这两部分以及其融合特征共同学习,并使用多目标函数来优化网络。解决了由于微表情强度低导致的识别率不高的问题。
最后引入全变分网络(Total Variation Network,TVnet)训练光流,在训练时,要求固定TVnet的一个输入为起始帧(参考帧),另一个输入为该微表情序列中的帧,通过大样本训练TVnet以求得精确的光流信息,然后从输出的光流序列中选择由峰值帧与初始帧求得的光流信息作为改进的ResNet18的输入,在分部处理时加入注意力网络以便挑选更加有鉴别性的特征。解决了由于微表情持续时间短导致的微表情难以识别的问题。实验结果表明,该文中的方法都取得了比之前方法更好的识别准确率。