Speech Emotion Recognition Via Domain Adaptation

来源 :江苏大学 | 被引量 : 0次 | 上传用户:chenpingaaa351
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语音情感识别(Speech Emotion Recognition,SER)或声学情感识别自语音识别、说话人识别和情感识别研究诞生以来,在过去的几十年里取得了重大进展。近年来,研究者从不同的角度进行语音情感相关的研究,目标是实现高效的现实世界类人的语音情感识别系统,以解决现实生活中新型的人机交互问题。然而,目前公开的情感语料库存在录制条件、语言以及说话人等方面的差异,且从同一分布中提取的训练和测试样本的特征以及相同特征空间参数化的前提不适用于大多数真实场景。当SER系统在不同的语音语料库中进行训练和测试时,会遇到特征分布差异而导致的模型泛化性能差的问题。此外,跨语言识别的问题仍然是情感识别中的一个挑战。为了解决上述问题,提出三种新的无监督域自适应语音情感识别方法。本文主要工作包括:1)提出一种无监督域自适应语音情感识别方法。该方法采用耦合深卷积神经网络(CDCNN)结构。该结构引入源域分布和目标域分布的相关对齐损失(CALoss),有效地减小域差异,且能学到域之间的非线性变换。此外,源域和目标域对应层中的权重不共享但相关,可有效建立一个域到另一个域的迁移。为了评估所提出的方法,使用Interspeech2009情感挑战赛的FauAibo情感语料库作为目标数据集,两个公开的语料库(ABC和EMODB)作为源数据集,实验结果表明:所提出的方法识别准确率优于现有的方法。2)提出基于双重排斥注意转移(DEAT)的无监督域适应语音情感识别方法。该结构适用于源域和目标域卷积自适应的非共享注意力转移过程。此外,该模型通过调整源域和目标域的二阶相关统计量,在卷积层和完全连接层上实现双域自适应过程,以学习有效的非线性变换,并捕获良好的可鉴别特征。同时,为了有效地对不同域偏移进行建模,将相应层的权重设置为互斥但相关。该模型将源域的分类损失以及卷积层和全连接层的相关对齐损失降到最低。以Interspeech 2009情感挑战Fau-aibo情感语料库为目标数据集,以两个公开的语料库(abc和emo-db)分别作为源数据集进行跨域语音情感识别,实验结果表明:所提出的方法在两个源数据上均优于目前最好的结果。3)提出基于三重注意力的非对称卷积神经网络语音情感识别方法,以解决跨语言和跨语料库语音的情感识别问题。该方法采用交叉熵损失和中心损失的联合约束,利用伪标签学习目标域的可鉴别特征表示。该模型采用三个非对称的注意卷积神经网络,其中两个网络用于对未标记的目标样本进行人工标记,源于源标记样本训练的输出结果,另一个网络用于从伪标记的目标样本中获得显著的目标识别特征。在三种不同语言类型(即英语、德语和意大利语)的数据集上验证所提出方法的有效性。
其他文献
总结了某公司在循环流化床(CFB)锅炉经济煤种掺烧、低成本污染物协同脱除、宽负荷脱硝和超临界CFB锅炉运行技术方面取得的可推广的技术成果,针对目前CFB锅炉存在的诸如炉膛水冷壁磨损严重、屏式受热面变形严重、管式空气预热器漏风率高、低负荷NOx排放控制困难等典型共性问题,提出了针对性的解决措施,取得了良好的效果,为CFB锅炉机组安全、环保及经济运行提供了技术支撑。结合CFB技术优势,阐述"碳达峰,碳
上个世纪七十年代以来,我国的生育政策从严格实施"独生子女"政策演变到"鼓励三孩"政策,在不断进行调整。从"全面二孩"政策的执行效果来看,公众生育意愿降低与已婚育龄女性人数减少,婚育文化和生育意愿发生变迁,二孩的生养成本过高,新冠肺炎疫情的影响有关。基于对"全面二孩"政策的反思,建议通过降低生养成本和教育成本,多措并举提高公众生育意愿,减少性别就业歧视,鼓励女性职业发展等多措并举来推进"鼓励三孩"政
2021年是开启全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的开局之年,沈阳在今年的政府工作报告中提出,"十四五"时期经济社会发展主要目标:围绕推动沈阳新时代全面振兴全方位振兴取得新突破、努力建设国家中心城市的总目标,建设好沈阳现代化都市圈。"国家中心城市"的概念,早在2005年提出。住房和城乡建设部依据《城市规划法》编制全国城镇体系规划时,提出"国家中心城市"的概念。2007
会议
为提高火电厂发电效率,适应煤炭清洁高效利用要求,煤电锅炉机组正向大容量、超临界参数方向发展。循环流化床(Circulating Fluidized Bed, CFB)锅炉具有燃料适应性广、高效脱硫、低氮氧化物排放、负荷调节范围宽等优点,近年来随着超临界技术在CFB锅炉上成功应用,使得超临界CFB锅炉技术完美融合了CFB和超临界2种技术。目前我国已成为世界上最大的超临界CFB锅炉市场,正式投入商业运
席卷全球的新型冠状病毒改变了传统的办公模式,疫情的爆发加速了远程工作的趋势,包括内部审计。本文结合国际内部审计师协会(IIA)发布的关于远程审计的报告,简要阐述了远程审计工作的优势与局限性,分析了远程审计的工作要点;并结合实际,对远程审计的风险防控工作进行探讨,为人民银行开展远程审计提供借鉴与参考。
本文在提出远程审计理念基础上,介绍远程审计在精准扶贫与乡村振兴、固定资产投资、自然资源生态环境、财政联网和社会保障基金等领域中的应用,最后总结如何降低远程审计的局限性,发挥远程审计的优势。
最近,浙江省委常委会听取了省委统战部有关贯彻落实全国统战工作会议和中共中央《关于巩固和壮大新世纪新阶段统一战线的意见》精神的汇报,进行了专题研究。省委书记习近平在会上强调:要结合学习六中全会和中央经济工作会议精神,贯彻落实
期刊
目前,用于制备壳寡糖的壳聚糖酶具有酶活性较低、酸稳定性较差等问题。本研究从连云港海州湾泥样中筛选产壳聚糖酶菌株,并对菌株进行鉴定、酸稳定性和酶学性质研究。通过平板透明圈初筛和摇瓶发酵复筛,获得酸稳定性较好的壳聚糖酶产生菌株CLT08,随后利用形态学特征、生理生化测定及16S rDNA序列扩增与分析,鉴定菌CLT08为Paenibacillus chitinolyticus。菌株CLT08产壳聚糖酶
近年来,边缘计算的出现和发展补充和改进了云计算网络中诸如延迟一类已知的局限性。工业界和学术界已经提出并实施了边缘计算的各种范例,这些范例在基础协议、目标、部署区域等方面各不相同。然而所有这些边缘计算范例的共同之处在于对云网络核心的复制,例如:系统边缘的计算和存储资源。对数据生产者提供尽可能接近的计算支持意味着可以按时访问、分析和处理数据,从而提升用户体验。边缘计算的发展导致了新兴的M2M连接的激增