基于实体类别约束与动态上下文增强的实体链接系统

来源 :浙江大学 | 被引量 : 0次 | 上传用户:eu2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从互联网上流动的海量非结构化文本数据中提取结构化知识,并将其拼接成知识库,从而让机器获得“计算知识”的能力,是改进信息检索、智能问答和机器阅读等自然语言处理技术的基础。在这个过程中,实体链接是关键的基础技术,其目标是消除由于别名、指代、一词多义等语言学现象引发的歧义,将文本中表示专有名词的文本片段(实体提及),与知识库中相应的条目(实体)匹配对应。如何自动、快速和准确地为实体提及生成规模合理、质量可靠的候选实体集,并优先选择正确的候选实体是实体链接的研究重点。  本文对此展开了深入研究,设计并实现了一套基于实体类别约束与动态上下文增强的实体链接系统:  (1)针对在候选生成步骤中提升候选质量和缩小其规模是一对互斥行为的问题,本文提出了一种基于实体类别约束的候选生成方法。在提升质量方面,该方法实现了一种涵盖简称、繁简、翻译扩展等功能的称谓扩展策略,和一种基于实体类别约束和就近原则的子字符串指代消解策略,并研究了一种基于Freebase与Wikipedia融合资源的精确匹配与模糊查找相结合的候选查询策略。在缩小规模方面,本文提出了一种统计最大频繁实体类别项的算法,筛选并建立了提及类别与Freebase实体类别集的一对多的映射关系表,从而合理地缩小了候选查询范围。本文还先后实现了一种利用文本字面相似度的模糊查询优化策略和一种基于实体先验热度和实体语义相似度的候选集筛选算法,用以进一步缩小候选实体集的规模。  (2)针对在候选排序步骤中利用各实体提及之间的主题相关性和降低算法时空复杂度与偏差是两个相反方向的问题,本文提出了一种基于动态文本增强和深度强化学习的候选排序方法。动态文本增强机制在实体提及的消歧过程中将不断地向当前文本添加已链接实体的描述信息,从而引入了潜在的主题相关性,并产生了一个存在前后依赖关系的动态文本序列。深度强化学习将顾及当前决策与先前决策的潜在关联,搜寻全局最优解,从而改进了模型的训练,并增强了模型在“噪声”文本环境下的适应能力。动态文本增强和深度强化学习相互支持,激发了模型性能的提升。另外,本文引入了课程学习思想,通过优化训练样本的次序和实体提及序列的决策次序,改善了模型训练过程中所存在的训练周期长、收敛难度大、效果不稳定等问题,进一步提升了总体性能。  本文选用了实体链接领域内公开通用的一个域内数据集和五个跨域数据集进行实验,并采用了统一公认的评价指标衡量实验结果。实验结果表明,本文的实体链接系统性能超过了或接近于现有的最先进(State-of-the-Art)方法。  基于本研究的实体链接系统,在2017年NIST(美国国家标准技术研究所)组织的国际知识库构建大赛(TAC KBP)的中、英、西三种语言EDL(实体发现与链接)任务中,取得了综合成绩排名第二,算法的准确率指标排名第一的成绩。参加本次任务的队伍还包括腾讯人工智能平台部、阿里巴巴达摩院、IBM、CMU等国内外高校与研究机构。该成绩充分证明了本研究所述的实体链接系统在应对歧义性、多语言内容和高吞吐等实体链接的重点挑战方面,做出了实质性的推动工作。另外,本文的系统还直接应用于由中国工程院牵头的中国工程科技知识中心建设项目,为实现其中的自动知识库构建与数据结构化发挥了重要的作用。
其他文献
本文针对技工学校焊接专业教学过程中出现的教法单一、保守,实践教学材料和能源浪费,存在安全隐患等问题,结合虚拟焊接技术的最新研究成果以及“一体化”教学模式,提出了将虚
河北省煤炭科技信息工作座谈会于9月15~17日在宣化河北煤田四队召开,省煤炭局科教处田茂祥处长和省情报中心站张鸣靖副站长分别主持了会议。省煤炭局陈正信总工程师在会上做了
该文在充分分析数据挖掘的基本特点和相关技术的基础上,探讨了事务间量化关联规则挖掘的理论及其在预测中的应用.该文首先介绍了国内外关于知识发现和数据挖掘的最新发展动态
摘 要随着办公自动化和电子商务的推广和深入,工作流技术已成为该领域的主流技术。工作流管理的主要目标是通过调用有关的信息资源和人力资源来协调业务过程中的各个环节,使之按照一定的顺序依次进行,从而实现业务过程的自动化。在计算机和网络使用越来越广泛的今天,工作流管理系统正在吸引来自研究机构和产业界越来越多的关注。本文首先介绍了工作流技术的起源与发展;然后对工作流的研究现状进行综述,主要包括工作流定义
随着混沌理论和应用技术研究的不断深入,混沌时间序列分析及预测不仅已成为混沌信号处理研究领域的前沿研究热点,且能够解决工程实践中遇到难以用线性信号处理方法解决的大量非
由于各级地矿部门领导的重视,组织措施得力,我省采矿许可证换发工作已取得了较大的进展,截止到9月16日已先后有淄博、威海、潍坊、日照、临沂、泰安、东营、滨州、德州、聊城等共10个
随着我国企业信息化进程的不断深入和网络技术的广泛应用,利用计算机进行企业信息化管理已成为增强企业竞争力和提高管理效率的必要手段。 本文在对湖南银洲伯云公司生产经
随着计算机网络技术的发展,为网络管理平台设计和实现一种可以自动发现网络拓扑结构的工具软件越来越成为一种迫切的要求.网络拓扑图自动发现涉及网络管理和图论两部分的内容
3月25日,春暖花开时节,正当我们认真学习两会精神的时候,全国政协副主席、中国文联主席孙家正,在中国文联党组书记、副主席胡振民,中国文联党组成员、副主席杨志今等同志的陪
随着移动市场的迅猛发展,基於无线网络(GSM/GPRS/CDMA)的移动增值业务成为移动运营市场上的热点.移动通信越来越成为人们的日常生活的必要手段.同时,人们对移动生活的要求也