尽管在NLP领域中已经有很多相关研究,但在现实世界中对问题答案对进行排序仍然是一个挑战:（I）首先,开放域知识图（KGs:Knowledge Graphs）的背景知识在问题回答中起着至关重要的作用。现有的基于上下文的模型可能会给否定答案比肯定的答案分配更高的分数,因为否定答案与单词级别的给定问题更相似。然而,借助背景知识,我们可以正确识别基于KG中包含的相对事实的肯定答案。（ii）此外,现实应用中普遍存在的冗余和噪声问题（例如CQA）仍有待解决。然而,先前的研究利用KG的外部知识专门进行了k认知单个单词的学习,而不是捕获不同句子之间的相互关系,这对于对问题答案对进行排名很重要（iii）双向循环连接使RNN适合于任何长度的顺序预测任务,但是由于处理序列信息将不可避免地导致整个网络的信息状态在稍后的时间收集导致信息不平衡,导致网络在长句子上的表现不佳。为了缓解这些限制,我们提出了一种知识意识的神经网络结构,以交互方式学习基于知识的句子表示和基于上下文的句子表示,以对QA对进行相关度排序。BERT[52]的网络架构使用多Transformer结构,而Transformer基于自注意力机制:任何单元都可以直接交互,并且没有长度限制问题,可以更好地捕获长距离特征,因此,相距较远的元素可以通过较短的路径（O（1）vs O（n））进行交互首先,我们使用知识嵌入方法对KG的知识嵌入进行预训练,然后设计混合注意掩码,以学习嵌入在KG中的离散候选实体的基于知识的句子表示。最后,我们提出了一种知识意识的注意力机制来学习问题和答案的知识意识的句子表示,从而自适应地确定基于上下文和背景知识的重要问题和答案信息。本文的主要贡献可以概括如下:（1）我们提出了一种基于BERT模型的知识感知的新型深度学习网络模型结构,并具化为三个模型:KIBERT（Knowledge-aware Independent Representation Neural Network with BERT）,KCBERT（Knowledge-aware Cross-DNN Neural Network with BERT）与KFBERT（Knowledge-aware Fusion Attention Neural Network with BERT）。它利用KG的外部知识来捕获问题的背景信息。以及对QA对进行排名的答案。（2）我们引入了预训练的BERT模型。BERT训练数据使用英语开源语料库BooksCropus和英语Wikipedia数据,共33亿个单词。这进一步提高了单词向量模型的泛化能力。通过添加其他层,可以调整预训练的BERT表示以创建适用于更多任务的当前最佳模型。（3）我们开发了一种混合注意力矩阵-知识交互学习体系结构和一种基于线性注意力的独立注意力知识感知结构,该体系结构利用来自编码层的文本特征和融合外部KG的交互信息来监督句子和外部知识的表示学习。（4）知识感知注意机制是一种使QA对能够识别文本之外的一些背景信息和隐藏关系的方法。对于问答句,我们将两种不同的句子级别的表示向量:基于词向量嵌入获得的向量和混合KG的外部知识获得的向量表示进行交互获得最后用于分类的最终层输入。以及通过问答融合的方法进行的对基于词向量嵌入获得的向量和混合KG的外部知识获得的向量进行多角度答案融合以得到最终的双重答案特征来输入最后的分类层。