Multimodal Emotion Recognition Based on Facial Expression and ECG Signal

来源 :包装工程 | 被引量 : 0次 | 上传用户:kcsj001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
As a key link in human-computer interaction, emotion recognition can enable robots to correctly perceive user emotions and provide dynamic and adjustable services according to the emotional needs of different users, which is the key to improve the cognitive level of robot service. Emotion recognition based on facial expression and electrocar-diogram has numerous industrial applications. First, three-dimensional convolutional neural network deep learning archi-tecture is utilized to extract the spatial and temporal features from facial expression video data and electrocardiogram (ECG) data, and emotion classification is carried out. Then two modalities are fused in the data level and the decision level, respectively, and the emotion recognition results are then given. Finally, the emotion recognition results of sin-gle-modality and multi-modality are compared and analyzed. Through the comparative analysis of the experimental re-sults of single-modality and multi-modality under the two fusion methods, it is concluded that the accuracy rate of multi-modal emotion recognition is greatly improved compared with that of single-modal emotion recognition, and deci-sion-level fusion is easier to operate and more effective than data-level fusion.
其他文献
目的 为了改善聚乙烯(PE)透湿性差、气体选择透过比低等性能,将高透湿性的聚己二酸丁二醇酯-对苯二甲酸丁二醇酯(PBAT)以熔融共混的方式改性PE.方法 以PE为主体,添加质量分数为10%、20%、30%的PBAT,采用流延共混法制备PE/PBAT共混薄膜,测试其热学性能、力学性能、气体透过性能和透湿性能,并用来包装迷你黄瓜以研究薄膜的保鲜效果.结果 PBAT的加入使PE的力学性能、气体透过性能和透湿性能均得到提升.与PE相比,PBAT的质量分数为30%时,薄膜的H2O透过系数提高了2.42倍,CO2/O
目的 旨在通过系统综述壳聚糖性质、壳聚糖薄膜制备方法,以及壳聚糖薄膜在食品包装上应用的国内外研究成果,为开发可降解性、抗菌性、抗氧化性、阻隔性能以及力学性能均较优秀的壳聚糖食品包装膜提供方法指导.方法 综述壳聚糖性能特点、壳聚糖食品包装膜的制备工艺和影响壳聚糖食品包装膜性能的各种因素,重点探讨国内外壳聚糖食品包装的研究现状.结果 向成膜配方中添加蛋白类、酚类以及其他天然提取物等助剂,可改善壳聚糖复合膜的物理力学性能、阻隔性能、抗氧化性能以及抗菌性能.结论 壳聚糖基于自身的可降解性和抗菌性,在食品包装膜领域
目的 为改善聚磷酸铵的阻燃性及热稳定性,降低其对纸材物理性能的影响,制备一种疏水阻燃微胶囊.方法 以聚磷酸铵、季戊四醇、铜改性4A分子筛为芯材,以海藻酸钠和氯化钙为原料制备壁材,在外壳包覆SiO2微粒,并制备阻燃牛皮纸.采用极限氧指数(LOI)测试、垂直燃烧测试(VBT)、烟密度测试(SDT)、微型量热仪(MCC)和热重分析(TG)表征阻燃纸的阻燃性和热稳定性,采用场发射扫描电镜(SEM)、透射电镜(TEM)表征疏水阻燃微胶囊的微观形貌,用傅里叶变换红外光谱(FTIR)表征试样的官能团特征,并根据国标测定
目的 伴随着各类传感器、计算机识别算法与计算机网络的发展,人机交互已不再拘泥于应用键盘、鼠标等传统输入模态,而是进一步拓展为应用人的多种行为模态.方法 多模态交互可以捕获多个模态下人的显性行为信息,组合并分辨多个模态信息的不同形式,现已应用在虚拟现实、增强现实、混合现实、遥操作、普适交互等场景下,可以优化这些场景下的人机交互.在自然交互中,多点触摸、自然语音、手势体感、眼动追踪是常用的交互模态,展现出了较优的效果.而多模态交互技术按照选择、相继、并发和互补的方式组合两个及以上的输入模式,借助多种非侵入式的
目的 随着AR数字化信息在辅助装配领域的快速发展,能为用户提高装配效率、准确性和减少操作错误.当前AR指示符号的视觉设计尚无通用标准,如何解决AR辅助装配交互界面中指示符号的用户体验问题,成为研究重点.方法 以AR辅助机械装配的指示符号为例,采用眼动追踪实验方法对增强现实环境下辅助装配符号维度与状态进行量化分析与评估,进而提出AR环境下辅助装配指示符号设计的设计策略.结论 研究结果表明:(1)指示符号的维度和状态对指示符号的认知负荷有显著影响,动态和3D指示符号的认知负荷较大;(2)指示符号的状态对指示符