基于BERT和关系感知注意力的单一关系知识库问答方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:Puzzling600
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着大规模知识库技术的发展,知识库问答成为了自然语言处理领域的一个研究热点,其目标是利用结构化的知识库事实回答自然语言问题。本文关注知识库问答的一个重要分支:单一关系的知识库问答任务,该任务中每个问题只涉及一个知识库关系,也称为简单问题。互联网查询中大部分问题属于简单问题,对简单问题的回答是构建复杂问答系统的基础。当前关于单一关系知识库问答的研究可分为两种类别,分别是基于语义解析的方法和基于神经网络的方法。前者依赖人工规则的定义,缺乏通用性;后者虽然具有较高的灵活性,但是现有方法专注于对建模方法的使用,忽略了问题和知识库事实之间的联系,这可能会限制模型表现的提升。针对上述问题,本文提出一种基于BERT和关系感知注意力的单一关系问答方法BERTRA(BERT and Relation-aware Attention-based),将单一关系知识库问答分为实体链接和关系检测两个子任务。在实体链接中,BERTRA使用预训练BERT模型进行序列标注,以提升问题实体标注的准确率,同时结合启发式算法减少候选实体集合的噪音。在关系检测中,BERTRA构造“问题-答案”对作为预训练BERT模型的输入,对问题和答案同时进行建模,以保留它们之间的原始交互信息。此外,由于现有方法对知识库的结构信息利用不足,BERTRA引入了候选答案的链出关系特征,并通过关系感知注意力机制增强候选答案的表征。实验结果表明,BERTRA能有效提升单一关系知识库问答模型的准确率。在SimpleQuestions数据集上,BERTRA以FB2M和FB5M为背景知识库均取得了当前最高的准确率,分别为80.9%和80.7%。
其他文献
目的探讨胰岛素样生长因子-1(IGF-1)及增殖细胞核抗原(PCNA)在犬颈动脉球囊损伤后血管再狭窄形成中的作用。方法采用ELISA法检测IGF-1在犬颈动脉球囊损伤后血管狭窄形成过程
财政文化建设是一项长期的实践活动,需要财政人不断浸润、积累、发展、总结、创新,进一步将财政文化建设不断引向深入,努力形成具有财政特色的文化价值体系,促进财政工作健康、稳
<正>在新经济时代,财务管理在企业的各项管理中处于战略核心地位。其中,对财务风险的认识、防范和控制的研究已成为当今企业所面临的重要课题。施工企业主要依赖工程项目建设