【摘 要】
：
情感分析是人机交互的关键技术,对改善和提升信息时代的人机交互环境起着重要作用。利用多模态的数据可以提供更全面丰富的情感信息,帮助模型获取话语中隐藏的情感。面向多模态数据构建情感分析必然会涉及模态内表示学习和模态间的融合交互,这也是影响多模态情感分析模型表现的两个主要挑战。立足于这两个挑战,本文首先从文本+语音双模态的建模展开研究,并以此扩展提出文本+语音+视频的三模态情感分析模型。本文的主要研究内
论文部分内容阅读
情感分析是人机交互的关键技术,对改善和提升信息时代的人机交互环境起着重要作用。利用多模态的数据可以提供更全面丰富的情感信息,帮助模型获取话语中隐藏的情感。面向多模态数据构建情感分析必然会涉及模态内表示学习和模态间的融合交互,这也是影响多模态情感分析模型表现的两个主要挑战。立足于这两个挑战,本文首先从文本+语音双模态的建模展开研究,并以此扩展提出文本+语音+视频的三模态情感分析模型。本文的主要研究内容可以总结为如下两方面:（1）为实现更有效的模态间交互,本文提出一种基于双向掩码注意力机制的多模态情感分析模型-BMAM。该模型同时建模文本和语音两个模态,对于每个模态,掩码注意力通过引入另一个模态的信息来动态的调整当前模态的注意力权值,从而获取更精准的模态表示。这些模态表示即保留了模态自身的情感又融入了另一个模态的情感信息,帮助模型实现最佳的情感决策。在通用的多模态情感分析数据集IEMOCAP上对模型进行评估验证,该模型的情感分析加权准确率达到74.1%,相较于现有主流方法有明显提升,显示出BMAM模型在多模态间相互作用上优越的建模性能。（2）为学习到更全面、丰富的模态表示,本文提出一种基于私有共享解耦自适应的三模态情感分析模型-PSDA。PSDA为每个模态学习2个不同的表示:共享表示和私有表示;其中,共享表示抽象为多模态序列共同表达的意图与目的,代表多模态间的一致性;私有表示抽象为模态自身的独具特色的判别特性,比如语音的音调、文本的文体、视频的色彩,代表模态的差异性。通过学习模态间的一致性和模态间的差异性,为多模态序列提供了多样化的视图。PSDA在CMUMOSI、CMU-MOSEI数据上进行情感分析任务的性能评估,相较于对比模型,PSDA在7分类准确率上有1.3%-6.2%的提升。同时,在IEMOCAP进行情绪识别任务的性能评估中,PSDA也取得了与对比模型相当的结果,证明PSDA的泛化有效性。
其他文献
通过组织分离法从‘宁杞5号’枸杞健康根筛选出深色有隔内生真菌（DSE）菌株，采用两点对峙法、菌丝生长速率法、孢子萌发法和盆栽试验探究其对枸杞根腐病菌（Fusarium oxysporum）的抑菌活性，为枸杞根腐病的生物防治提供潜在的资源菌。结果表明，8株DSE菌株均可定殖于枸杞根部，形成典型的DSE结构，且对枸杞根腐病菌有明显的抑制作用；其中菌株S12（Cladosporium cladospor
由于国际海事组织（IMO）对船舶生活污水提出了更高的要求,而传统的水处理工艺不能满足要求。本文主要对MBR（膜生物反应器）在船舶生活污水处理中对氮磷去除效能的研究。实验室的小试试验结果表明MBR对船舶生活污水中氮去除效果较好并对氨氮有良好的抗冲击负荷能力,而对总磷去除效果不理想。可采用添加化学药剂或增设厌氧池的方法进一步提高磷的去除率。
本文选取2003—2013年中国制造业企业出口产品的微观数据，检验行业信息溢出对企业出口质量的影响效应。研究发现，同行业出口规模及产品多样性信息溢出显著促进企业出口质量升级，这一结论在更换核心变量指标、考虑城市溢出冲击和聚焦一般贸易后仍然稳健。进一步地，行业信息溢出通过自有信息网络和跨行业信息网络对企业出口质量产生“持续性”和“传递性”的影响。此外，上述影响效应还因信息接收方和供应方的异质性而有所
随着船舶行业发展的日渐迅速，船舶废水的排放量也逐年增大，严重污染水体。为了改善这一情况，本研究拟采用电化学还原法和电化学絮凝法联合使用的方法对船舶废水进行处理，对废水中的碳、氮、磷同步进行处理。在最优工况下（电流密度、pH值、极板间距、初始浓度），对污水中的COD、NH3-N和磷酸盐的去除率分别可以达到84.27%、95.5%和92%。
汉江中下游为丘陵平原区,该河段各梯级均为低水头径流式电站,与电力系统发展具调节能力的调峰电站这一大趋势不一致,开发利用难度较大;南水北调中线工程近期建设方案若实施丹江口水库加坝调水,则水库由季调节变为不完全多年调节,汉江中下游防洪安全和枯季径流均得到提高,与现状比较,加坝后同一频率洪水下泄洪峰流量减小,可相应减少枢纽投资,同时增加电站保证出力和枯季电能,有利于促进该河段水电能源开发;不利之处是调水
苹果蠹蛾是我国农业植物重大检疫对象，现已扩散蔓延到全国9个省市，其以幼虫蛀食果实危害，防治难度大。文章围绕林果业农药减施增效目标，通过性信息素诱捕监测苹果蠹蛾发生规律，建立一套综合检验检疫、生物、化学和农业物理防治的绿色防控技术体系，对苹果蠹蛾的卵、幼虫、蛹、成虫实施精准防治。该技术体系的建立将有效降低苹果蠹蛾种群数量，控制其扩散，极大减少化学农药的使用次数和用量，实现我国林果业可持续健康发展。
2021年6月25日，习近平总书记在主持十九届中央政治局第三十一次集体学习时强调，红色资源是我们党艰辛而辉煌奋斗历程的见证，是最宝贵的精神财富，我们必须始终赓续红色血脉，用党的奋斗历程和伟大成就鼓舞斗志、指引方向，用党的光荣传统和优良作风坚定信念、凝聚力量。2021年10月，为了教育引导广大青少年阅读红色故事、追寻红色足迹、传承红色文化、汲取红色力量，坚定不移听党走、跟党走，山西省团省委、省少工委
通过番茄根际土壤细菌及内生细菌的分离共筛选到85株细菌。通过两点对峙法筛选禾谷镰刀菌（Fusarium graminearum）的拮抗菌株，根据生长速率法计算抑菌率，结果表明，6株生防细菌对禾谷镰刀菌都有抑制作用。选取其中2株FQD25、FQC7进行发酵液对禾谷镰刀菌的抑菌试验，结果表明，发酵液抑菌效果FQD25＞FQC7。以抑菌效果好的FQD25为供试菌株制备发酵液，测定对另外4种病原菌的抑制活
从实验室处理高盐度废水的 SBR 反应器中，分离得到了三株耐盐异养硝化菌与三株耐盐好氧反硝化菌，本实验将此六株菌混合培养试图构建同步硝化反硝化（Simultaneous Nitrification and Denitrification，简称 SND）体系，研究了它们降解氨氮及其中间产物硝态氮和亚硝态氮的规律以及盐度对系统脱氮效率的影响。所构建的同步硝化反硝化体系能在完全好氧条件下将氨氮转化为亚硝
随着人工智能技术的高速发展,它被广泛应用于解决不同的领域问题。但是,由于一些智能模型的结果缺少可解释性,导致在许多实际的安全敏感任务中存在严重隐患。因此,赋予人工智能系统可解释性成为了当前的热门研究课题之一。目前已存在许多相关的研究成果,例如基于规则的可解释性模型、基于模型蒸馏的解释方法、引入注意力机制等。本文针对医疗诊断领域,提出了一种用于识别医学图像的可解释性智能模型,它融合了机器学习和知识推