【摘 要】
:
自然语言推理是检验自然语言理解能力的基础任务之一。其任务主要是输入提供的句子对(前提和假设),输出句子间的语义关系(蕴含,中立,矛盾)。目前自然语言推理有两个重要研究方向:外部知识引入和结构语义理解,然而这两个方向目前存在一些问题亟待解决。问题一是外部知识引入机制不充分不灵活。先前的方式只是引入了知识图谱中的三元组,而三元组只是知识图谱中相对简单的一种构成单元,而且引入的外部知识方式不是一个单独的
论文部分内容阅读
自然语言推理是检验自然语言理解能力的基础任务之一。其任务主要是输入提供的句子对(前提和假设),输出句子间的语义关系(蕴含,中立,矛盾)。目前自然语言推理有两个重要研究方向:外部知识引入和结构语义理解,然而这两个方向目前存在一些问题亟待解决。问题一是外部知识引入机制不充分不灵活。先前的方式只是引入了知识图谱中的三元组,而三元组只是知识图谱中相对简单的一种构成单元,而且引入的外部知识方式不是一个单独的网络层,需要做大量的预处理和模型改造工作,这一定程度上限制其适用到其他已有的推理模型上。问题二是自然语言推理模型的结构语义理解能力不足。以往自然语言推理模型在对结构语义能力要求很高的样本子集上测试表现都比较差。最后,将语义推理算法应用到实际场景中也是本论文的面对的一个挑战。针对以上问题本论文提出以下解决方案:(1)针对引入外部知识机制不充分不灵活的问题,本论文提出了一种新型的为NLI模型提供外部知识的机制EDGEGAT(Edge enhanced Graph Attention Networks)。该框架采用图注意力网络对外部知识子图进行网络结构信息嵌入学习,并将推理模型和图网络联合训练,为推理模型实现引入外部知识。同时本论文对图注意力网络改进,增加了计算图中边属性重要性。经在相关自然语言处理数据集上验证,EDGEGAT 比之前外部知识引入机制表现更好,而且可以灵活地为多个待引入外部知识的NLI模型提升效果。(2)针对目前的自然推理领域的模型的结构语义理解能力不足的问题,本论文提出一种新型网络DtreeTrans(Dependency syntax tree based Transformer)。DtreeTrans采用基于依存句法树构成图的邻接矩阵作为Transformer网络的掩码矩阵的思想,为Transformer主动增强句法特征。具体的使用方法是:在BERT类预训练语言模型微调时,替换其中所有的Transformer为DTreeTrans,使预训练语言模型感知句子对中的结构语义信息。DTreeTrans增强的预训练语言模型在结构语义测试数据集上准确率有明显提升并且综合的语义理解能力也有明显的进步。(3)针对将自然语言推理算法应用到实际场景中的挑战,本论文搭建了自然语言推理算法演示平台。平台提供数据预处理、模型训练、模型预测和结果可视化的功能。针对用户,平台支持选择EDGEGAT和DtreeTrans两种方法进行计算。平台也能够支持开发者自主决定为具体的推理模型引入外部知识或者增强结构语义理解能力,同时开发者可根据具体的开发需求调用系统的中某项功能模块。可调用模块包括数据存储模块、数据预处理模块、推理模型模块、输出模块、后端服务模块和前端展示模块。
其他文献
全球变暖已经造成了一些明显的后果,即伴随地球平均表面温度和海洋热含量的增加,海冰融化、陆地冰川质量减少、格陵兰岛和南极冰盖减少。在过去的50年里,由于温室气体的排放,
家庭是幼儿成长的起点,幼儿园是幼儿人生的第一课堂。随着教育的发展,人们文化水平的提高及教育观念的改变,世界各国都越来越重视家庭和幼儿园之间的良好合作对幼儿成长发展的影响和作用,家园双方共同努力,协同共育已成为现代世界幼儿教育发展的总趋向;同时,在怎样进行幼小衔接、科学幼小衔接中,家园合作是一个必然策略。由于幼儿的成长受多种因素的影响,其中影响最直接的就是家庭和幼儿园,幼儿教育也不是单靠一方就能完成
第一部分:miR-196b、PCDH-17表达在人喉鳞状细胞癌中的差异性表达及与患者预后关联性分析目的:探究miR-196b、PCDH-17在人喉鳞状细胞癌及癌旁正常组织中的差异性表达,确定其
随着计算机、平板电脑,以及手机等终端的普及,传播的数据量与日俱增。常用的数据传播方式有图像、文字、音频、视频等,这其中,包含文本的图像是承载着更多信息的载体。因此,对于图像中的文本检测与识别已越来越成为研究的热点。包含文档的图像分为文档图像和场景图像两类。与文档图像的文本识别不同,场景图像本身具有背景复杂、分辨率低下、字体多样、分布随意等特点,这就使得文本识别难度大大提高。已经成熟的文档图像的文本
目的:探究Yes相关蛋白(Yes-associated protein,YAP)及其磷酸化蛋白(Phospho-Yes-associated protein,p-YAP)在喉鳞状细胞癌(laryngeal squamous cell carcinoma,LSCC)和癌旁正常黏
喉鳞状细胞癌(laryngeal squamous cell carcinoma,LSCC)是最常见的头颈部恶性肿瘤,占喉癌的95%以上。目前LSCC的治疗手段主要是手术联合放疗及化疗,尽管早期的LSCC患者可以
喉癌是头颈部常见的恶性肿瘤,占人体恶性肿瘤的1%-5%,发病率呈逐年上升趋势。90%的喉癌属于喉鳞状细胞癌(laryngeal squamous cell carcinoma,LSCC)。近年来,尽管综合外科手
孪生支持向量机是在支持向量机的基础上产生的机器学习算法,与支持向量机不同,孪生支持向量机是找到两个分类超平面且是不平行的,使得每一类样本尽量靠拢一个超平面,远离另一
人口老龄化的逐渐加剧使得空巢老人、留守儿童、失能、高龄等多种社会现象叠加。各种老龄问题在短期内“井喷式”呈现,人口老龄化也逐渐成为我国国民经济与社会水平持续健康发展的社会矛盾之一。相比较其它应对老龄化问题的措施来看,体育作为增强体质、提高机体能力和平均寿命水平、丰富人民生活的手段,对于应对人口老龄化有着便捷、高效的方式,是老年人保持健康、延缓衰老对抗疾病的理想途径。诚然,体育运动在应对老龄化进程中