自然语言理解中跨领域知识迁移方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:shulili1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自然语言理解(Natural Language Understanding,简称NLU)旨在以人类语言作为输入,得到机器可读的语义表示。它不仅可以让计算机理解人类语言,也有助于深化对语言能力和人类智能的认识。基于深度神经网络的方法在多个自然语言理解任务上取得了很好的效果,但同时也依赖于大规模的标注数据。但对于某些领域,其数据难以获得,或者对人工标注要求高,获取该领域的大规模标注数据?分困难,从而难以直接得到在该领域表现较好的模型。此时,通过跨领域知识迁移,借助其他领域的标注数据或模型来帮助目标域的学习,可以减轻对目标域标注数据的依赖,具有很好的理论研究意义和实用性。近年来,跨领域知识迁移的相关研究主要关注以下两个方面:单领域知识迁移和多领域知识迁移,前者旨在将某一源域的知识迁移到目标域,而后者关注于如何在多个领域间进行知识迁移,两者的共同目标是既迁移领域通用知识又尽量保持各领域特性。目前,跨领域知识迁移存在两个问题:在数据角度存在领域相关性差异问题,在同一领域内,领域特性存在差异,不同样本、不同词表现出不同程度的领域相关性;在模型角度存在跨领域参数共享问题,在不同领域间,领域差异体现在多个层面中,在不同领域间共享模型参数较为困难。针对自然语言理解中跨领域知识迁移这一主题,为了解决以上问题,本文提出了数据和模型两个角度的方案,通过建模更细粒度的领域相关性和进行更细层面的模型参数共享,在单领域和多领域知识迁移过程中更好地迁移了领域通用知识,同时尽量保持了各领域特性。全文开展了如下工作:1.从数据的角度出发,关注于领域相关性差异问题,提出了建模样本级和元素级领域相关性的方案,并将这种领域相关性引入到了单领域知识迁移过程中,实现了细粒度的知识融合。在三种序列标注任务上进行了实验,结果证明此方法有效地减少了负迁移,增强了知识迁移的效果。2.从模型的角度出发,关注于跨领域参数共享问题,通过领域相关的注意力机制,建模了更细层面的领域差异,在多领域知识迁移中实现了更细层面的跨领域参数共享。在机器阅读理解和情感分析任务上进行了实验,结果证明此方法有效地提升了各领域的性能。相较于其他多领域知识迁移方法,此方法在参数量和速度上均有一定的优势。3.为了更好地展示以上两种跨领域知识迁移方案的效果,同时将跨领域知识迁移方案落到实处,本文以中文分词任务为例,构建了中文分词跨领域知识迁移展示系统,提供了多个领域专用的分词工具,并展示了在多个领域上跨领域知识迁移的效果。
其他文献
本文利用华北和东北地区(110-140°E,34.5-55°N,简称中国北方)126个气象站,1901-2015年月尺度标准化降水蒸散指数(SPEI-1),去除历年11月到次年2月(即北方冬季)的数据后,采用旋转经验正交函数分解(REOF),将研究区域分为东北北部(Ⅰ区)、东北中部(Ⅱ区)、东北南部(Ⅲ区)、华北北部(Ⅳ区)和华北南部(Ⅴ区)5个气候区,利用游程理论在识别单站强干旱事件的基础上,给
随着计算机性能的不断提升和网络技术的不断发展,人们开始不再满足于传统的界面式人机交互方式,自然人机交互成为了新的追求。而在人们的日常生活中,语音交流是最自然的方式
随着我国经济发展进入快车道,商标的现实意义在市场经济发展中逐渐凸现。我国注册商标数量与日俱增,商标资源浪费的情况愈加严峻。注册商标不使用撤销制度的设立,能够在一定
合作学习是我国英语新课程改革提出的重要理念之一,新课程改革要求教学要面向全体学生,使所有学生都得到发展。小学作为义务教育的重要奠基阶段,能否在英语课堂中积极落实新
本文首先将传统的脉冲耦合神经网络的特征提取方法应用到叶片图像识别领域,以脉冲耦合神经网络(PCNN)的熵序列为主要特征,结合简单的形状特征,探索基于叶片图像的植物识别的
近年来,动产质押监管兴起,它是物流业与金融业结合的产物,主要是用以解决银行放贷与中小企业融资之间的矛盾。一方面中小企业出质人出质动产作为质物,与此同时,银行委托专业
本文主要是对铝塑泡罩药品上的五种常见缺陷进行检测定位与分类的研究。在实际生产过程中,铝塑泡罩药品上很容易出现穿泡、毛毛、污渍、麻面和磕边等缺陷。药品上缺陷的存在,
随着市场经济的不断发展,各种委托理财业务正在不断地兴起。委托理财在给人们带来利益的同时,也带来了复杂的案件纠纷。在司法实践中关于委托理财合同中保底条款的效力认定出
自从M41S系列介孔材料合成后,介孔材料一直被应用在吸附-分离,催化,生物,色谱分析和药物运输等领域。这很大程度由于它们具有孔径均一、可调;比表面积较大等特点。介孔材料优越的特点与其多样的微观孔结构及宏观形态密切相关。本论文描述了一种合成介孔二氧化硅新型有效的方式,该方式是以混合阴阳离子表面活性剂:十六烷基三甲基溴化铵(CTAB)和十二烷基硫酸钠(SDS)自组装形成的层状液晶(LC)为模板。通过探
2019年8月30日,中国(黑龙江)自由贸易试验区正式揭牌。黑龙江站上沿边开放的新起点,再一次迎来重要发展机遇。作为国家首次在沿边布局的3个自贸试验区之一,黑龙江自贸试验区