基于视频放大的微表情识别技术研究

来源 :电子科技大学 | 被引量 : 1次 | 上传用户:lenvy11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微表情是人在刻意隐瞒和抑制自己的真情实感时,面部肌肉以极其微小运动表达出的表情。与宏观表情相比,微表情具有持续时间短,表情幅度小,不易于观察等特点。通常一个微表情持续时间为1/25秒至1/5秒,因此很难被捕获到。由于以上特点,给微表情识别带来巨大挑战,即使是经过训练的专业人员对于微表情的判断也处于较低水平。随着计算机视觉的兴起和多个自发式微表情数据集的发布,微表情识别算法得到快速发展。微表情数据动作幅度微小,于是识别算法对于数据质量提出更高的要求。数据质量受采集环境和设备的影响较大,本文引入基于暗通道的去噪算法来提升数据质量。通过理论证明微表情数据满足暗通道先验理论,并将暗通道去噪算法与多种去噪算法应用于微表情数据进行对比。实验结果显示基于暗通道的去噪算法对于数据质量的提升最为显著。运动视频放大技术是一种将视频中“人眼不可见”的微小变化放大后,利于观察和识别的技术。本文基于运动视频放大算法将微表情特征放大,从而便于对微表情识别和分类。随着深度学习的发展,基于卷积神经网络自主学习数据特征也可用于运动视频放大。本文首先通过理论分析证明运动视频放大技术应用于微表情识别的可行性,然后通过实验对比基于相位和基于深度学习的运动视频放大算法效果,并引入结构相似性参数评估放大后数据的图像质量。实验结果显示基于深度学习的运动视频放大算法取得更好的效果,利于提高微表情识别的准确率。本文结合运动视频放大、图像空间和时间序列特征提取技术,提出一种基于运动放大的短时记忆网络(Motion Magnification Short-Term Memory,MMSTM)用于微表情分类。网络结构可分为两部分,空间特征提取模块和时间特征提取模块。空间特征提取模块基于卷积神经网络设计,在完成微表情空间特征提取的同时将空间特征放大后用于微表情分类。时间特征提取模块基于长短时记忆网络设计,提取微表情序列的时间特征增大分类准确度。本文以CASMEⅡ数据集作为评估数据集,采取留一被试者交叉验证方法计算模型分类准确度、召回率和Macro-F1-score等多个评估参数。本文计算多个运动放大系数的分类评估参数和混淆矩阵,用于分析运动视频放大网络对分类结果的影响。提出的基于运动放大的短时记忆网络有效改善因微表情与面部编码单元并非一一对应关系而造成的误分类问题。经实验证明,本文提出的MMSTM网络在留一被试者交叉验证中,Macro-F1-score取得57.42%的成绩。
其他文献
2007年美国的次级抵押贷款市场出现动荡,次年引起的全球金融危机对世界宏观经济造成了重创,由此引发了各国中央银行和学术界对于金融周期与经济周期联动效应的再思考。金融经
铝基复合材料由于其优异的综合力学性能在航空航天、轨道交通、汽车等众多领域具有广泛的应用。在铝基复合材料的铸造凝固或半固态加工过程中,由于热收缩应力等因素导致的材
大块金属玻璃是近几十年来兴起的一种新型合金材料。因其独特的原子无序排列,而具有比相同成分晶体材料更加卓越的力学、物理和化学性能,引发了人们极大的研究热情。然而,作为一种非平衡亚稳态材料,在温度、压力等外界条件升高时,其无序的原子结构会发生弛豫,加速金属玻璃的老化、变脆,极大地限制了金属玻璃的实际应用。因此,怎样克服金属玻璃的弛豫和老化是其大规模应用所面临的关键问题之一。近年来,研究发现低温热循环处
随着地球资源持续消耗以及环境污染问题不断加剧,人们对环保材料的需求越来越迫切,黄麻纤维复合材料具有绿色可降解、材料来源广泛、制造成本低等优点,使其在汽车工业和建筑
随着社会的快速发展,人类已经不知不觉地进入了数据与日俱增的时代。面对世界快速堆积的大量数据,数据挖掘、深度学习和人工智能等新兴学科正在蓬勃发展,这些机器学习工具可以帮助我们从海量的数据中找出有价值的信息。其中,使用特定的机器学习模型根据已知的数据特征来分析和预测未知的数据和结果是目前科学研究的一个热点,这样就使得我们的研究者可以通过使用模型方法得到预测的数据和结果,对未来事物的发展做出更加正确的判
合成功能性多孔金属有机骨架之后,客体分子的封装越来越引起人们的兴趣。近来,荧光染料被用于掺入MOF的孔道中,来抑制聚集诱导的猝灭(ACQ)效应,大大限制了它们在固态器件中的
随着经济与科技的不断发展,对材料的需求也渐渐地发生变化,人们想要一种具有机械性能的同时也可以具有其他的特性的材料。在这种背景下,功能复合材料应运而生,被现今研究人员进行了广泛的研究。通过将储能装置与结构材料结合同样可以达到功能复合材料多功能性的作用,其中最理想的储能装置就是锂离子电池,将结构材料与其相结合并应用在航空航天等领域中,是非常具有现实意义的。锂离子电池中最常用的负极材料是石墨,但由于能源
木薯酒糟废液属于高浓度有机废水,具有量大、污染重等特点,如果得不到有效的处理,将对环境产生严重的污染。基于以上因素,利用木薯酒糟进行厌氧发酵,不仅可以降低废水对环境的污染程度,而且可以产生清洁能源——沼气。木薯酒糟厌氧发酵生产沼气的过程受到多种因素的影响,其中关键因素有反应系统的温度、pH、水力停留时间、微量金属元素等。微量金属元素是某些产甲烷酶发挥活性必不可少的物质,适宜的微量金属浓度可以有效促
H5N1高致病性禽流感病毒,属于正粘病毒科(Orthomyxoviridae)流感病毒属,甲型流感病毒的一种亚型,可致人畜共患,具有传染性强、传播速度快、高致病性的特点。H5N1禽流感首次是在
本文采用量子计算化学、实验室模拟与辽河盆地西部凹陷实际地质样品地球化学分析相结合的方法,系统研究了甲基二苯并噻吩的热稳定性和甲基迁移、甲基化以及去甲基化的化学机