论文部分内容阅读
近年来,随着大规模知识库技术的发展,知识库问答成为了自然语言处理领域的一个研究热点,其目标是利用结构化的知识库事实回答自然语言问题。本文关注知识库问答的一个重要分支:单一关系的知识库问答任务,该任务中每个问题只涉及一个知识库关系,也称为简单问题。互联网查询中大部分问题属于简单问题,对简单问题的回答是构建复杂问答系统的基础。当前关于单一关系知识库问答的研究可分为两种类别,分别是基于语义解析的方法和基于神经网络的方法。前者依赖人工规则的定义,缺乏通用性;后者虽然具有较高的灵活性,但是现有方法专注于对建模方法的使用,忽略了问题和知识库事实之间的联系,这可能会限制模型表现的提升。针对上述问题,本文提出一种基于BERT和关系感知注意力的单一关系问答方法BERTRA(BERT and Relation-aware Attention-based),将单一关系知识库问答分为实体链接和关系检测两个子任务。在实体链接中,BERTRA使用预训练BERT模型进行序列标注,以提升问题实体标注的准确率,同时结合启发式算法减少候选实体集合的噪音。在关系检测中,BERTRA构造“问题-答案”对作为预训练BERT模型的输入,对问题和答案同时进行建模,以保留它们之间的原始交互信息。此外,由于现有方法对知识库的结构信息利用不足,BERTRA引入了候选答案的链出关系特征,并通过关系感知注意力机制增强候选答案的表征。实验结果表明,BERTRA能有效提升单一关系知识库问答模型的准确率。在SimpleQuestions数据集上,BERTRA以FB2M和FB5M为背景知识库均取得了当前最高的准确率,分别为80.9%和80.7%。