论文部分内容阅读
微表情是人们试图隐藏自己真实感受时所发生的一种无意识的面部表情。与普通的面部表情(宏表情)相比,微表情通常持续时间仅为1/25到1/2秒,是对情绪刺激做出的非自发的、微弱的、转瞬即逝的面部动作。微表情很难用肉眼觉察,尤其是没有经过专业训练的绝大部分人是无法对微表情进行实时捕捉和识别的。所以,在过去的几十年里,研究人员开始尝试通过计算机进行微表情的自动识别,以期获得更高质量的微表情识别技术来辅助我们感知和理解微表情,实现人工智能真正的“拟人化”——可以通过微表情去感知、识别和理解人的真实情感,并针对人的真实情感做出智能、灵敏、友好的反应。目前,尽管涌现了众多关于微表情识别的研究成果,且被用于国家安全、司法审讯、临床医学、教学评估、商业谈判等多个领域,但其研究仍然具有很多挑战。例如,微表情训练样本不足、微表情变化微弱难以捕捉、面部运动单元关联不充分以及环境变化因素不确定等。面对以上挑战,粗粒度的全局面部特征或者情感共享特征难以学习到具有显著性以及可鉴别性的情感特征。针对上述问题,本文基于深度学习中的注意力机制,研究微表情识别中的视觉注意力区域上的、特定情感上的以及面部局部区域上的细粒化的特征学习方法,从引入宏表情数据进行注意力区域特征学习与迁移、情感特定特征学习表示、面部运动单元检测与微表情任务协同合作、区域权重特征学习与其关系推理等角度出发,研究实验室场景和遮挡场景下的微表情识别问题,提出了一系列面向自发微表情识别的细粒化特征学习方法,主要贡献体现在如下4个方面:(1)提出基于注意力迁移机制的微表情识别方法。针对现有微表情训练样本不足难以训练具有良好分类能力网络的问题,提出基于注意力迁移机制的微表情识别方法。该方法借助宏表情数据来训练教师网络,并利用教师-学生网络的特征蒸馏能力,使得教师网络可以通过生成的注意力特征图来指导学生网络学习到与教师网络相近的更细粒化的注意力特征图,突显微表情中的情感相关区域。通过注意力转移机制,将教师网络学到的知识迁移给学习能力相对弱的学生模型,以此来增强学生模型的泛化能力。该方法通过注意力特征图的学习与迁移可保证在样本量少的情况下,用于微表情识别的学生模型习得良好的分类特征,相较于已有的微表情识别方法,在复合数据库MEGC2019-CD以及其子数据库上将UF1提升了1%~30%。(2)提出基于情感特定特征学习的微表情识别方法。针对微表情样本中面部表情变化微弱难以学习具有鉴别性的分类特征而导致的微表情识别率低的问题,提出基于情感特定特征学习的微表情识别方法。该方法利用浅层主干网络进行情感共享特征的学习,并从情感共享特征中提取细粒化的情感特定特征,利用注意力机制突显特定情感类别相关特征,联合情感特定检测损失对特征学习进行约束,最后通过融合情感特定特征进行微表情分类。所提方法在增强微表情特征显著性的同时提高了情感特定特征的可区分性,从而减轻了微弱面部运动对最终微表情识别结果的影响。在单个数据库CASME II、SAMM、SMIC以及复合数据库MEGC2019-CD的大量实验结果表明所提方法能够有效提升微表情识别结果,并取得了与当前最好方法可比拟的甚至最优的结果。(3)提出基于面部运动单元检测及其关系推理的微表情识别方法。针对微表情中面部运动单元活动稀疏且运动微弱,单一任务网络难以同时对面部运动单元特征进行学习并对关联不充分的面部运动单元进行建模,较难提取到有判别力的情感特征而导致模型识别率不高的问题,提出基于面部运动单元检测及其关系推理的微表情识别方法。该方法通过将捕获到的细粒化的面部运动单元特征集成为微表情分类特征以增加分类特征的鉴别能力,并通过微表情识别约束面部运动单元特征的学习。所提方法通过面部运动单元特征学习与推理,可有效建模稀疏的面部运动单元之间的关系,学习到具有良好判别能力的微表情特征,在MEGC2018-CD上的HDE任务中,相较于以往最好方法的平均WAR以及UAR,本方法分别将其提高了11%与21%。(4)提出基于区域启发关系推理网络的遮挡微表情识别方法。针对自然场景下微表情样本由于不同程度的遮挡导致的微表情识别率低的问题,提出基于区域启发关系推理网络的遮挡微表情识别方法。该方法基于实验室场景的微表情数据库样本,模拟了多种实际生活中可能存在的微表情遮挡情况,并在模拟的遮挡微表情数据库上,对面部局部区域进行细粒化的权重特征学习以减轻遮挡对特征学习的影响,并通过对区域权重特征进行关系建模来捕捉面部区域之间的协作互补关系,使得推理所得的关系特征以及学习到的细粒化区域特征共同促成更鲁棒的遮挡微表情识别。所提方法通过学习与推理局部区域细粒化特征的关系来降低遮挡对微表情识别的影响,学习到了遮挡场景下的有效情感表示。实验结果表明,本方法在遮挡MEGC2018-CD上的HDE与CDE任务中,相较于其余方法,将各性能指标平均提升了2%~53%。