基于语音和文本双模态融合的儿童情感识别研究

被引量 : 0次 | 上传用户:plutuscty
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类社会快速迈进智能化时代,日常生活中的人机交互从刻板的方式向着语音、文本、动作和生理信号的智能方式转变。因此,人们希望计算机也能拥有独立自主的意识和思想,能够准确识别人类的情感状态,而情感识别研究不应仅仅局限于成人,儿童作为正在茁壮成长的祖国的未来,家长和老师通过准确了解他们的情绪状态,可以帮助他们缓解不必要的情绪压力,从而更好地帮助他们成长。传统的单一模态情感识别所包含的情感信息往往是有限的,且单一模态的情感识别模型存在识别精度不高的问题,因而本文通过将语音和文本进行特征融合后来对儿童进行情感识别,具体工作如下:一方面,对儿童进行情感识别时采用语音和文本双模态融合的方式来进行,并与单一模态的情感识别模型进行识别效果对比。采用神经网络对语音和文本模态进行情感特征提取,同时在单一模态的儿童语音情感识别模型中融合了语谱图特征,将频域特征与其它的语音特征相结合从而得到儿童语音情感特征,通过实验结果对比验证了语谱图中的频域特征对儿童情感识别模型的性能有所提升,验证了所提出的模型的有效性。另一方面,在进行儿童情感识别时,由于儿童语音特征和文本特征中往往存在着区分较为明显的情感和非情感信息语段,因此,在其情感特征提取过程中,直接利用双向长短期记忆网络模型进行特征提取可能会参杂与情感无关的特征,从而无法准确地对儿童情感进行识别。本文在儿童双模态情感识别模型中融合了注意力机制,并在IEMOCAP数据集和FAU-AIBO数据集上展开实验对比探究,与资料中的双模态模型的识别精度相比,本文提出的融合注意力机制的情感识别模型的识别精度提高了2%左右,验证了所提出模型的优越性。实验结果表明,本文提出的融合注意力机制的儿童双模态情感识别模型可以对儿童情感进行有效识别,并且融合语音和文本两种模态特征的儿童情感识别模型要比单一模态特征的儿童情感识别模型的识别效果更好。
其他文献
目的 观察柴胡加龙骨牡蛎汤加减方治疗帕金森病(PD)患者非运动症状的临床疗效及对PD患者肠道菌群的影响。方法 将36例PD患者按照随机区组法分为2组,对照组18例(后脱落1例)予抗PD西药治疗,治疗组18例(后脱落2例)在对照组治疗基础上加服柴胡加龙骨牡蛎汤加减方,2组均治疗4周。比较2组治疗前后非运动症状评价量表(NMSS)、帕金森病睡眠量表(PDSS)、汉密尔顿焦虑量表(HAMA)、便秘患者生
期刊
<正>2023年7月19日,大检察官研讨班在国家检察官学院开班。此次研讨班坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻习近平法治思想,深入贯彻党的二十大精神,研究谋划当前和今后一个时期的检察工作,以检察工作现代化更好服务中国式现代化。
期刊
人类活动造成的气候变化已经影响到全球每个地区的极端天气气候和水文事件。全球变暖的任何额外增量都会伴随极端事件更大的变化,如果没有全球性的碳中和行动,极端高温事件的增多增强以及极端冷事件的减少减弱趋势将贯穿整个21世纪,强降水以及一些地区的农业和生态干旱的强度和发生频率也会显著增加。当代的儿童和后代在未来更容易受到气候变化和相关极端事件风险的影响,即使是在相对于工业化以前的1.5℃温升水平下,到21
期刊
提高民族文化自觉与历史文化自信心,是坚持路线自信心、理论自信心和制度自信心应有之道义。增强我国特色社会主义文化自信,就需要毫不动摇地坚持马克思主义在文化建设中的核心地位,以社会主义核心价值为导向,加深中华优秀传统文化的历史积淀,增强我国民族特色文化在国际文化中的话语权。
期刊
报纸
构建以新能源为主体的新型电力系统,新能源消纳问题是规划人员要面对的挑战之一。在电力系统规划阶段,通常需要评估电力系统新能源的调峰需求,以便规划调峰电源,控制新能源弃电率在合理水平。在评估电力系统新能源调峰需求时,一般较难定量分析,往往通过采用生产模拟计算电力系统弃电率的方法侧面反映。本文结合生产模拟与新能源特性,提出等效消纳能力概念,可快速便捷评估系统调峰需求、计算系统弃电率、安排调峰电源等。并在
期刊
目的 观察胺碘酮联合炙甘草汤加减治疗快速型心律失常的临床效果。方法 选取2020年1月至2021年5月我院收治的52例快速型心律失常患者为研究对象,随机分为对照组和观察组,每组26例。对照组患者采用胺碘酮治疗,观察组患者采用胺碘酮联合炙甘草汤加减治疗,对比两组患者的临床效果。结果 观察组的临床效果高于对照组,差异有统计学意义(P <0.05)。观察组神倦乏力、气短、心悸以及心慌等中医证候积分均低于
期刊
为了明确流胶病在新疆地区的潜在风险区,本研究基于其在新疆的分布样点和环境因子,采用最大熵模型(MaxEnt)和地理信息系统(Geographic Information System , GIS)模拟流胶病在新疆区域的潜在风险区,运用受试者工作特征(ROC)曲线分析法进行验证,并通过刀切法分析影响流胶病分布的主要环境变量。结果表明,(1)最大熵模型的AUC值为0.967,表明模型的模拟精度达到优秀
期刊
随着世界各地夏季环境温度不断升高,电缆中间接头的工作环境正在恶化。为此,文中基于有限元法建立10 kV三芯电缆及其中间接头仿真模型,分析不同环境温度和不同电流下中间接头的温度分布。首先,开展温升试验,得到电缆中间接头表面的稳态温度,验证仿真模型的准确性;然后,拟合不同环境温度下中间接头高压载流导体表面温度与电流的函数关系,以此可以计算不同极端环境温度下中间接头的极限安全载流量。结果表明,环境温度升
期刊
红树秋茄为自然分布于我国南方热带与亚热带潮间带的木本植物群落,是淤泥质滩涂上特有的植被类型,由其构成的红树林生境在维持海岸生态系统平衡、湿地生物多样性等方面具有重要作用。全球气候变化影响了红树秋茄的地理分布范围,尤其是其分布北界的变化一直是当前红树研究领域的争论焦点之一。基于MaxEnt模型,筛选了141个秋茄现有分布点,并结合筛选后的14个陆地气候变量和2个海洋表层海洋环境因子,模拟了秋茄种群在
期刊