融合面部表情和肢体动作的人机交互意图识别

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:chueri1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在许多交互场景中,人类的情感支配着外部行为,行为又反映了个体内部意图。如果机器人能够通过可观察的外部行为来识别用户的交互意图,那么就可以进行个性化的回应,从而表现出自然的动作,这正是以人为中心智能化交互的体现。通过文献调研发现,目前交互意图识别工作所使用的信息主要有三类:语音信息、生物电信号和视觉信息。使用语音信息的交互意图识别工作在嘈杂的环境下难以发挥作用,生物电信号信息对实验环境和实验设备要求非常严苛,只有使用视觉信息的交互意图识别工作才具有大范围推广的可能性。而在使用视觉信息的交互意图识别工作中,大部分都是基于单一信息,这会导致在一些异常情况下模型的识别结果不准确。针对这些问题,本文提出了一种新的交互意图识别方法。仅从RGB视频中获取用户的面部表情和肢体动作信息,并引入了人脸角度特征来提升模型的鲁棒性,基于这三种信息来判别用户是否有想要与机器人进行交互的意图。通过探索有效的特征提取和融合方法,建立交互意图识别模型,采用注意力机制进行融合分类,取得了较好的效果。本文的主要研究内容如下:首先创建了一个包含面部表情和肢体动作的交互意图识别数据集。由于交互意图识别工作的任务指向性强,现阶段的研究大多针对某个特定的任务,没有标准的开源数据集以供使用,所以本文需要构建合适的数据集。本文的数据集共采集了21位交互者与机器人交互时的视频,包含面部表情和肢体动作,经过处理后得到了交互意图识别数据集,共包含3528段视频。随后制定了数据集的标注原则,将数据集标注为“有交互意图”和“无交互意图”两类。其次,针对每种信息的特点采用专门的神经网络进行特征提取。在特征提取阶段,本文采用深度学习方法对不同特征进行提取,相比于传统的手工提取特征,深度神经网络可以更有效的挖掘特征的深层次有效信息。本文使用VGG-19网络提取数据集中的面部表情特征,使用Res Net50网络提取人脸角度特征。在动作特征提取方面,提出了人体区域融合的方法,使用Yolov3和C3D网络提取肢体动作的时空特征。最后根据注意力机制提出了三种不同的融合方法。在特征融合阶段,本文采用了注意力机制,有选择性的对有效特征增加权重,对无效特征降低权重,通过实验选出特征拼接、层级注意力、自注意力三种不同的特征融合方法中效果最好的一种。在本文所提出的交互意图识别数据集上进行测试,选择F1分数作为评价指标,本文方法的F1分数达到93.7%,比使用单一特征所取得的最好结果高出11.2%,证明了多个特征融合的有效性。在与其他类似的先进工作对比中,本文方法也展现出了显著的优势。
其他文献
2020年9月,“30·60”碳达峰与碳中和发展目标的提出,意味着绿色低碳发展已经成为当前我国经济发展的重要方向之一。同时,伴随着“一带一路”倡议的推进,我国在“一带一路”沿线国家的对外直接投资(OFDI)也逐年增加。有部分国外观点认为,中国作为全球第一大碳排放国,在通过OFDI形式将自身碳排放向“一带一路”沿线国家转移,那么现实情况是如何?中国OFDI对“一带一路”沿线各国碳排放产生了怎样的作用
我国近代园林是传统园林与现代园林过渡时期的产物,南浔近代园林为其中的典型代表,具有较高的研究价值和较大的历史意义。该文分析了南浔的近代园林保护实践现状,以南浔宜园的保护性修复与再生为例,总结了南浔宜园在保护修复过程中取得的成果与当前亟待解决的问题,在此基础上探究南浔近代园林保护与发展策略,以为近代园林的保护与发展工作提供参考。
<正>从近年来的趋势看,建筑业正在走向数字化变革新时代,并且转型升级取得明显进展。数字化技术对建筑行业的发展起到了极大的推动作用,云计算、大数据、物联网、移动互联网、人工智能等对建筑业产生了很大影响。如何高效实现数字化转型升级?具体怎样实施才适合自己的企业?需投入多少成本?以上问题是很多建筑企业管理者提出的问题。
期刊
资本主义生产方式深刻塑造下的劳动异化、技术异化和人的异化是马克思异化理论在经济社会生活领域解码现代性危机的三个重要支点。人是现代性的现实主体,现代性危机在本质上体现为人的异化危机,表现为人的主体性丧失和人的类本质遮蔽。作为价值的唯一源泉和先进生产力的集中代表,人的生产劳动、技术及其物化形态并不具有自我异化的属性,它们在现实生活中之所以出现异化并由此带来人与人的主体性和本质相背离的现代性后果,其核心
科技进步是推动经济高质量发展的内在动力,科学测算宁夏科技进步贡献率对促进宁夏经济高质量发展有重要意义。本文采用索洛余值法测算了1990—2018年宁夏全区及18个县(市、区)的科技进步贡献率。估计结果表明:1990—2018年,科技进步、资本投入和劳动投入对宁夏经济增长年均贡献率分别为35.48%、48.04%和16.48%。由此可见,资本投入对经济增长的贡献率最大,其次是科技进步,劳动投入对经济
在线学习场景下,专注度是衡量学习体验的重要指标。提高专注度识别的准确率可以帮助老师及时获得课程反馈,以此提升学生的学习体验。对学生专注度识别研究,较为主流的方法是基于视频数据的方法,此前基于问卷调查、生物传感器的专注度识别方法,存在可靠性差、设备成本昂贵等问题。近年来,深度学习技术被逐渐应用到专注度识别领域且获得众多成果,但仍存在一些不足。例如,基于特征的专注度识别方法,存在仅使用少数几种特征、并
<正>一、我国沿海地区是全国受灾最严重的地区从天地生综合研究的观点,研究我国减灾工作的重点和前景,是摒弃个别的、暂时的、静止的、割裂的方法,而是用全部的、永久的、动态的、相互联系的方法来考虑我国灾情、国情的过去、现在和将来。在时间坐标系上,我们发现灾害群发期、群发幕
会议
<正>新年伊始,中共中央政治局以努力实现碳达峰碳中和目标为题进行了第三十六次集体学习。习近平总书记在主持学习时强调,实现碳达峰碳中和,是贯彻新发展理念、构建新发展格局、推动高质量发展的内在要求,是党中央统筹国内国际两个大局作出的重大战略决策。目前,各级政府和各行业部门都在对标党中央的“双碳”目标决策部署,确定工作思路,制定实施措施,确保“双碳”目标的实现。建筑领域的碳减排是实现碳达峰碳中和的重要措
期刊