基于标签置信估计与知识蒸馏的表情识别算法研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:xiuxiumumu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面部表情识别对于机器解析人的状态和行为至关重要,在机器人研发、心理营销学、人机交互、教育、安全等诸多领域中有难以替代的应用价值。虽然自然场景下的面部表情识别依靠深度学习模型强大的对于海量数据的学习和表示能力取得了长足进步。但是,在收集大规模面部表情数据集时,不可避免地会产生一些来自图像数据本身、错误标签或表情固有混淆性的噪声,并导致模型退化。为了缓解这个问题,本文研究了基于标签置信估计和多网络联合训练的表情识别算法、基于标签置信度估计和知识蒸馏的表情识别算法,用于对带有噪声的数据集进行面部表情识别。该方法的主要创新和贡献如下:(1)提出一种联合表情分类网络与标签置信度估计网络的统一框架用于抑制表情数据集中的不确定性。表情分类网络采用经典的卷积神经网络(CNN),并由标签置信度网络估计的具有高置信度的样本训练。而标签置信度估计网络采用多层感知机(MLP),由从表情分类网络中提取的样本特征和类别特征进行训练。(2)提出一种新的标签置信度估计方法。该方法以交叉验证作为基础,根据深度学习提取的样本特征与类特征之间的相似性来探索样本标签的可靠性,有效克服难样本、噪声样本和过拟合对置信度估计的干扰;(3)提出一种自适应的标签修正策略。该策略根据各类的平均置信度为阈值,综合考虑样本原始标签和置信度最高的标签,来判断标签是否修改为后者,可以有效克服类不平衡的问题;(4)提出一种新的软标签生成方式和知识蒸馏过程。该过程把标签置信度估计网络中丰富和独特知识以基于响应的方式蒸馏到表情分类网络中,不仅提高了表情分类网络的表征能力和泛化能力,而且通过对表情固有混淆性的拟合进一步抑制了表情识别中的不确定性。本文提出的方法在RAFDB数据上的准确率为88.79%,比同类研究中的最好水平略高0.03%;在FER2013数据集上的准确率为71.75%,在相同的骨干网的情况下高于同类研究的最好水平2.65%;在噪声实验上结果远高于同类研究。通过在上述两个自然场景下面部表情识别数据集上进行的大量实验,证明本文提出的基于交叉验证和多网络联合训练的标签置信度估计方法可以有效抑制表情识别中的不确定性。
其他文献
活动断层是地震的根源,也是地震灾害的元凶,当城市及其周边区域存在活动断裂会给人民生命财产安全和城市建设与发展带来隐患。目前河南省较多省辖市所在城市均已开展活动断层探测工作,各城市间区域是活动断层研究程度比较薄弱的地方,致使地震安全基础探测工作出现不均衡发展。研究区位于河南省西部洛阳偃师市、焦作济源市和孟州市等市间区域,涉及的主要地质单元有济源盆地、洛阳盆地及两者间的邙山隆起,具有明显的盆岭构造轮廓
学位
近年来,随着4G网络的全面普及以及5G网络的迅速发展,人们的日常生活与移动智能手机捆绑得越来越紧密,我们每天的生活都在各个App中周转,产生了难以计量的数据,在这其中,大学生群体是移动社交媒体重要的用户群体,但随之而来的就是各个移动社交平台对于用户信息的肆意窃取和盗用,信息泄露的情况时有发生,让使用移动社交网络的用户产生了焦虑。为了响应国家对于个人信息安全的保护政策、贯彻落实个人信息安全保护相关法
学位
信息资源已经成为各个行业当之无愧的战略资源,数据资源也已经成为真正意义上的互联网行业的“石油”资源。然而随着信息量的日益增长以及数据库在各行各业中的广泛应用,当下人们需要一种更为直接,高效,灵活的数据库检索方式,其中基于自然语言接口的数据库问答系统成为了该问题的“有效解”。NL2SQL作为一种面向关系型数据库的问答技术,在最近几年里随着WikiSQL,Spider,CSpider,DuSQL等Te
学位
少年儿童是祖国未来的希望,阅读对少年儿童的发展起着重要的作用。随着社会经济和人民生活水平的提高,少年儿童的阅读教育受到社会广泛的重视。注重对不同年龄段少年儿童的阅读能力发展以及身心的健康成长,成为国家重点关注的话题。在这一背景下,分级阅读作为世界性的阅读趋势,引起了人们的关注。少年儿童图书馆作为公共图书馆,有着丰富的儿童馆藏以及优良的阅读环境,向少年儿童提供阅读服务时存在诸多优势,是儿童阅读推广的
学位
面部表情在人们的日常交往中有着重要的作用,它直接传递了人们的情感。随着计算机科学技术的发展,自动化人脸表情分析成了一项受到越来越多关注的研究课题。面部表情分析也在人机交互和情感计算领域有着丰富的应用场景,如智能教育、医疗监控、数字营销、犯罪侦察等。通常来说,面部表情分析包括人脸表情识别和表情强度估计两项任务。现如今的人脸表情研究大多只关注于表情识别,即将表情识别为高兴、愤怒、恐惧、悲伤、惊讶、厌恶
学位
图像人脸替换,即把目标图像中的人脸替换为源图像中的人脸,而保持目标图像中人脸的面部表情和头部姿态等信息不变的过程。图像换脸可以被应用到许多领域,比如影视、商业、隐私保护、儿童孤独症治疗。随着深度学习和计算机视觉领域的发展,图像人脸替换已经取得了相当程度上的进展。但是当前方法仍然存在图像纹理处理的不够好、训练过程不稳定、训练要求高等问题。针对这些问题,本论文提出了一种基于生成对抗网络的图像换脸算法,
学位
城市书房是一种小型实体图书馆,从温州在2014年建起第一座城市书房起,以其便捷、舒适、休闲等特点迅速风靡全国,至今已有超过150个城市建立起超过1800座城市书房。城市书房的出现,极大丰富了我国群众精神文化生活,有效推动全民阅读活动的深入。城市书房大多是由当地政府文化部门主管,市公共图书馆负责业务指导、资源支持、监督考核等工作,并积极引入社会力量参与建设。随着城市书房数量增加,其服务质量也显得愈发
学位
在经济快速发展的今天,文化发展已成为促进经济发展和实现中华民族伟大复兴的必由之路。民族古籍作为展现民族文化的重要途径,对其进行必要的保护、研究具有重要意义。云南省是我国世居少数民族种类最多的省份,民族文化资源丰富,历史长河中形成的民族古籍亦是汗牛充栋。但近年来,民族古籍保护形势却不容乐观,每年有大量的古籍与古籍传承人在消失,为了保护民族文化,急需改善这种情形。随着近年来数字化技术的发展,民族古籍数
学位
自新冠疫情爆发之后,学生及教师们响应“停课不停学”的号召,均开始采用线上线下相结合的方式来进行教学,线上教学的重要程度显得愈发强烈。线上教学相比传统的教学方式有着一些明显的优点,如不受时间与空间的约束、教学资源可反复观看学习、可快速收集学习者学习数据等,但在在线教学的场景之中,教师却无法及时判断学习者的学习情况,从而动态调整自己的教学计划,实现因材施教与个性化教学的目标,但值得庆幸的是,随着人工智
学位
图书馆员是我国公共图书馆组成的核心部分,是图书馆业务开展的实施者和指导者。馆员的职业认同度对图书馆的发展至关重要。为了客观把握我国图书馆员职业认同的现状,探析馆员职业认同的深层原因以及职业认同与职业发展之间的联系,本研究结合社会认同理论、综合激励理论,对我国公共图书馆员职业认同展开翔实的研究。本文在文献综述的基础上,构建公共图书馆员职业认同结构模型,编制《我国公共图书馆员职业认同》调查问卷,对我国
学位