面向自发微表情识别的细粒化特征学习方法研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:ilqiqi2010
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是人们试图隐藏自己真实感受时所发生的一种无意识的面部表情。与普通的面部表情(宏表情)相比,微表情通常持续时间仅为1/25到1/2秒,是对情绪刺激做出的非自发的、微弱的、转瞬即逝的面部动作。微表情很难用肉眼觉察,尤其是没有经过专业训练的绝大部分人是无法对微表情进行实时捕捉和识别的。所以,在过去的几十年里,研究人员开始尝试通过计算机进行微表情的自动识别,以期获得更高质量的微表情识别技术来辅助我们感知和理解微表情,实现人工智能真正的“拟人化”——可以通过微表情去感知、识别和理解人的真实情感,并针对人的真实情感做出智能、灵敏、友好的反应。目前,尽管涌现了众多关于微表情识别的研究成果,且被用于国家安全、司法审讯、临床医学、教学评估、商业谈判等多个领域,但其研究仍然具有很多挑战。例如,微表情训练样本不足、微表情变化微弱难以捕捉、面部运动单元关联不充分以及环境变化因素不确定等。面对以上挑战,粗粒度的全局面部特征或者情感共享特征难以学习到具有显著性以及可鉴别性的情感特征。针对上述问题,本文基于深度学习中的注意力机制,研究微表情识别中的视觉注意力区域上的、特定情感上的以及面部局部区域上的细粒化的特征学习方法,从引入宏表情数据进行注意力区域特征学习与迁移、情感特定特征学习表示、面部运动单元检测与微表情任务协同合作、区域权重特征学习与其关系推理等角度出发,研究实验室场景和遮挡场景下的微表情识别问题,提出了一系列面向自发微表情识别的细粒化特征学习方法,主要贡献体现在如下4个方面:(1)提出基于注意力迁移机制的微表情识别方法。针对现有微表情训练样本不足难以训练具有良好分类能力网络的问题,提出基于注意力迁移机制的微表情识别方法。该方法借助宏表情数据来训练教师网络,并利用教师-学生网络的特征蒸馏能力,使得教师网络可以通过生成的注意力特征图来指导学生网络学习到与教师网络相近的更细粒化的注意力特征图,突显微表情中的情感相关区域。通过注意力转移机制,将教师网络学到的知识迁移给学习能力相对弱的学生模型,以此来增强学生模型的泛化能力。该方法通过注意力特征图的学习与迁移可保证在样本量少的情况下,用于微表情识别的学生模型习得良好的分类特征,相较于已有的微表情识别方法,在复合数据库MEGC2019-CD以及其子数据库上将UF1提升了1%~30%。(2)提出基于情感特定特征学习的微表情识别方法。针对微表情样本中面部表情变化微弱难以学习具有鉴别性的分类特征而导致的微表情识别率低的问题,提出基于情感特定特征学习的微表情识别方法。该方法利用浅层主干网络进行情感共享特征的学习,并从情感共享特征中提取细粒化的情感特定特征,利用注意力机制突显特定情感类别相关特征,联合情感特定检测损失对特征学习进行约束,最后通过融合情感特定特征进行微表情分类。所提方法在增强微表情特征显著性的同时提高了情感特定特征的可区分性,从而减轻了微弱面部运动对最终微表情识别结果的影响。在单个数据库CASME II、SAMM、SMIC以及复合数据库MEGC2019-CD的大量实验结果表明所提方法能够有效提升微表情识别结果,并取得了与当前最好方法可比拟的甚至最优的结果。(3)提出基于面部运动单元检测及其关系推理的微表情识别方法。针对微表情中面部运动单元活动稀疏且运动微弱,单一任务网络难以同时对面部运动单元特征进行学习并对关联不充分的面部运动单元进行建模,较难提取到有判别力的情感特征而导致模型识别率不高的问题,提出基于面部运动单元检测及其关系推理的微表情识别方法。该方法通过将捕获到的细粒化的面部运动单元特征集成为微表情分类特征以增加分类特征的鉴别能力,并通过微表情识别约束面部运动单元特征的学习。所提方法通过面部运动单元特征学习与推理,可有效建模稀疏的面部运动单元之间的关系,学习到具有良好判别能力的微表情特征,在MEGC2018-CD上的HDE任务中,相较于以往最好方法的平均WAR以及UAR,本方法分别将其提高了11%与21%。(4)提出基于区域启发关系推理网络的遮挡微表情识别方法。针对自然场景下微表情样本由于不同程度的遮挡导致的微表情识别率低的问题,提出基于区域启发关系推理网络的遮挡微表情识别方法。该方法基于实验室场景的微表情数据库样本,模拟了多种实际生活中可能存在的微表情遮挡情况,并在模拟的遮挡微表情数据库上,对面部局部区域进行细粒化的权重特征学习以减轻遮挡对特征学习的影响,并通过对区域权重特征进行关系建模来捕捉面部区域之间的协作互补关系,使得推理所得的关系特征以及学习到的细粒化区域特征共同促成更鲁棒的遮挡微表情识别。所提方法通过学习与推理局部区域细粒化特征的关系来降低遮挡对微表情识别的影响,学习到了遮挡场景下的有效情感表示。实验结果表明,本方法在遮挡MEGC2018-CD上的HDE与CDE任务中,相较于其余方法,将各性能指标平均提升了2%~53%。
其他文献
人机语音交互是一项可以使人与计算机进行对话的技术,而语音合成——将输入的文本转换为语音则是人机语音交互技术中的典型[1]。近年来语音合成技术在学术界和工业界均进展显著并日趋成熟,在可懂度、音质及听感方面已取得了明显成效,但自然度尚未达到真人语音水平。随着人们的智能化生活需求与日俱增,语音控制、语音翻译、语音导航等智能语音系统不断投入应用,相关技术需求日益旺盛,引领着语音合成技术的发展方向。探索新方
学位
在党的十九大报告中,习近平总书记指出“文化自信是一个国家、一个民族发展中更基本、更深沉、更持久的力量。”科举制度是中国文化的重要组成部分之一,它在存续期间潜移默化地影响着中国人的价值观念,西方国家甚至把科举制度称为中国的第五大发明。遗憾的是,中国人在提起科举制度时常常只关注到科举制度的消极影响,而忽略了它积极的一面。本文以地级市层面进士分布度量科举影响,据此探究科举制度在微观层面的经济后果。本文先
学位
近年来,随着我国经济总量的增加,经济发展的目标逐渐从增长速度、规模转变为高质量,力图通过效率与动力变革而实现经济的质量变革。同时,随着消费水平的提高,消费者需求的重点从生活必需品转向精神文化产品,推动了近年来我国文化产业的发展。本文立足我国文化产业发展区域不平衡特征及中西部发展较慢且集中度不高的态势,在对云南文化产业发展概况予以审视的基础上,运用2013—2017年相关数据对云南各州市文化产业效率
学位
辅助圆“为何添”“何时添”“如何添”的疑问困扰着不少学生和教师。通过对一道正方形综合题的深入探究,发现添加辅助圆的至简方法是抓住动点,根据动点的运动轨迹或位置,灵活运用圆的定义和圆周角定理及其推论逆向思考。
期刊
随着越来越多的高学历人才涌入劳动力市场,市场上出现了日趋严峻的“人—岗”不匹配现象,让企业员工意识到自己所拥有的教育水平、技能、经验均已超出了所在岗位的工作所需,由此产生严重的资质过剩感知。一旦企业员工产生资质过剩感知,便会对员工自身的工作状态和工作行为产生不利影响,所以对资质过剩感知这一议题展开深入研究,既有理论探索的必要性也有指导管理实践的迫切性。尽管探究资质过剩感知意义重大,但目前相关的学术
学位
地理标志是一项重要的知识产权保护对象。新时代背景下,加强地理标志知识产权保护,对于我国推动实现乡村特色产业经济的全面振兴、促进地方经济高质量发展,以及进一步加强对外经济和贸易联系等,其重要性越来越凸显。本文主要从商标法的理论和实践视野对地理标志法律保护问题展开研究。研究以问题为导向,充分立足现阶段我国地理标志法律保护面临的困境和难题,通过探索和重构地理标志法律保护的理论基础,阐明地理标志之所以能获
学位
研究背景遗传代谢病是由于基因突变而导致正常的物质代谢途径受阻,底物堆积、产物缺乏、旁路代谢产物增加,从而出现相应的病理改变和临床表现的一组疾病。绝大部分是常染色体隐性遗传病,少数为常染色体显性遗传、X连锁伴性遗传等。绝大多数遗传代谢病的临床表现不特异,可导致多器官系统的功能障碍,可致残,严重者可致死。遗传代谢病如未提前发现,绝大部分无有效治疗办法,因此该类疾病的发生不仅影响患儿生存质量,也造成较大
学位
预售模式在信息技术飞速发展和互联网与移动互联网普及的当下被商家广泛使用。由于预售期购买决策与产品实际消费在时间上的分离,消费者往往面临着产品估值、产品质量和消费状态上的不确定性风险,并且消费者自身的行为偏好,如价格参照行为、策略购买行为、过度自信行为等对其参与预购的动力影响甚大,当然也会影响商家预售实施的效果。基于这些现实背景,本文针对预售期的各种不确定性,结合消费者的行为偏好,研究商家如何制定最
学位
定量重建过去东亚季风变化并理解其驱动机制是当前古气候领域的焦点之一。中国南方石笋δ18O及北方黄土沉积物均被当做是反映东亚夏季风强度的指标或载体。然而,轨道尺度上石笋δ18O值与北半球高纬夏季辐射量对应很好,主要受2.3万年的岁差周期驱动;而黄土中的东亚季风指标在中更新世转型以后则呈现明显受冰量驱动的10万年周期。这种悖论的产生主要源于目前对于能否将石笋δ18O值作为夏季风指标仍存在较多争议,这是
学位
本论文的研究任务是探索如何运用越界这一概念解读当代英国女性成熟小说中的中老年女性的表征,并基于这一概念的特质指出一种女性成熟小说的新型阅读范式。作为女性小说的分支,女性成熟小说用以记录从中年至老年的人生旅程中,中老年女性的身份意识与主体性的革新。由于老年问题在文学研究中的边缘性,这一女性文学的亚类至今仍未获得过较多的关注。在日益加剧的人口老龄化及随之而来的社会问题的语境之下,对女性成熟小说进行系统
学位