论文部分内容阅读
语义推理技术是自然语言处理中的一项基础而重要的技术,能够帮助我们更好地理解文章的内容及上下文的语义推理关系。语义推理一般分为论据和论点两部分,论据是从文章内容中提取的支撑文章论点的材料,是用来证明论点的理由和根据;论点是对所论述的论据的正确理解,是对文章中所提出的某一个主要的思想观点的概括。语义推理技术是判断论点和论据之间的语义信息是否存在蕴含关系。提高语义推理的准确率有助于增强人工智能对自然语言的理解能力。在自然语言发展的初期,人们通常使用词典、语法树或逻辑表达式的方式获取文本之间的浅在的语义推理关系。随着神经网络在自然语言处理上的应用以及注意力机制和迁移学习的快速发展,人们开始侧重于挖掘文本之间更深层的语义推理关系。并且希望通过相似任务之间的知识共享,从而加快并优化模型的学习效率。在此基础上,本文主要从以下三个方面进行语义推理技术的研究:1.基于长短期记忆网络的语义推理技术。主要使用长短期记忆网络对论点和论据进行语义向量编码,使用双线性或者全连接计算论点和论据的语义推理关系。2.基于长短期网络和注意力机制的语义推理技术。首先使用长短期记忆网络对论点和论据进行语义向量编码。之后使用注意力机制加强论点和论据中的重要单词信息的权重,让模型具备更强的语义向量表示能力。最后,将使用注意力机制编码后的语义向量表示,用全连接或者双线性计算语义推理关系,预测前提句与推论句的语义推理关系。3.基于迁移学习与模型融合的语义推理技术。使用迁移学习技术,让语义推理模型从大规模语义推理数据集中学习丰富的语义向量表示和语义推理表示,之后将学习到的知识迁移到目标任务当中,使目标任务的语义推理模型能够快速拟合当前任务。本文还使用了集成传统特征与深度学习的语义推理模型,将深度学习模型挖掘的语义推理特征与浅层的语义推理特征融合,全方位多角度的挖掘文本之间的语义推理关系。