知识图谱作为机器大脑中的数据库,已被广泛地应用于查询理解、自动问答、文档表示等领域,对自然语言处理、信息检索和人工智能产生深远影响,然而知识图谱中存在大量的关系缺失对其应用带来了极大的挑战,因此知识图谱推理已经成为拓宽知识图谱应用场景中的重要一步。在推理过程中,手动构建相关规则费时费力且难以做到穷举所有情况,因此知识图谱中如何利用现有的知识得到隐含的信息成为了极具研究价值的课题,同时一次推理任务中存在多次跳转的间接关系推理问题成为实现知识图谱自动推理的主要挑战。本文以知识图谱间接推理任务中基于强化学习技术的模型为主要研究对象,提出分层强化学习结构,对融合多信息的知识表示进行研究,对强化学习中底层策略和上层策略进行不同的探索,同时对模型的奖励机制和泛化能力都进行了进一步的优化。论文的主要研究工作如下:首先,对基本模型进行分类和研究分析。调研了知识图谱推理任务的背景与定义,引入本课题中涉及到的相关技术。研究了现有知识图谱推理模型的构建方法,总结出现有模型的优势与劣势。尤其针对本文研究的强化学习模型,结合错误案例分析其存在的不足,从准确率和计算效率等方面对模型性能进行比对,为知识图谱间接推理任务的改进奠定基础。其次,对知识图谱间接推理中强化学习模型的多表示融合进行研究。简单的知识表示方式降低了强化学习模型环境和状态信息的记忆与表达能力,本课题通过设计多表示融合算法为推理过程提供更完善的表示。首先引入预训练语言模型,并提出了一种基于门控机制的语义信息加权和结构特征提取调权的模型;然后针对间接推理的多跳场景,利用层次信息联结和注意力机制,加强策略网络中路径信息的表示和保留,提高模型准确率。最后,提出了一种基于分层强化学习的知识图谱间接推理模型。针对强化学习模型中动作候选集过大和间接推理奖励稀疏的问题,提出基于子目标的分层强化学习结构,提高了模型的计算效率,准确率与泛化能力。区别于现有模型,该模型通过构造底层图匹配算法,大规模压缩动作候选集,同时提供内部激励;在上层强化学习算法中设计联合奖励函数,提供模型更高的探索能力及高置信度奖励结果;底层算法参数共享配合上层模型蒸馏操作完成泛化能力的提升。本文展示了分层强化学习模型与其他模型的实验对比,结果表明本文提出的分层强化学习模型在准确率与效率上均能更好的解决知识图谱间接关系推理问题。