基于控制注意力方法的嵌套命名实体识别

来源 :贵州大学 | 被引量 : 0次 | 上传用户:accpaccp1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
命名实体识别是自然语言处理中的基础性任务之一。由于自然语言的特性,文本中存在大量嵌套命名实体。传统方法使用序列标注方法识别命名实体,无法识别嵌套结构的实体。针对嵌套命名实体识别,相关研究提出了基于跨度和超图等模型。这些方法能解决嵌套实体识别问题,但存在不能充分感知实体边界、无法编码实体边界和上下文的语义依赖特征等问题。基于认知神经科学中控制注意力的思想,本文提出了基于控制注意力的嵌套命名实体识别方法。研究工作可以分为以下两个部分:(1)提出基于控制注意力标签的嵌套命名实体识别方法。在认知神经科学中,控制注意力被定义为将注意力引导到刺激场特定位置的能力。相关研究表明,专注于一个刺激能提高处理目标的效率。受控制注意力启发,本文使用控制注意力标签来区分不同的命名实体。该方法首先生成控制注意力标签(实体边界信息)以及候选跨度。然后将控制注意力标签嵌入原句中,以标识候选跨度的位置。最后对带有控制注意力标签的句子进行分类。(2)提出基于控制注意力标签回归的嵌套命名实体识别方法。该方法使用回归操作预测候选实体相对于真实实体的位置偏移,能在训练过程中动态调整控制注意力标签在句子中的位置。认知神经科学的相关研究也表明,认知过程是非常复杂的,定位到刺激源是一步步接近的过程。本文在基于控制注意力标签模型的基础之上,提出基于控制注意力标签回归的模型,并采取了迭代回归的方式,即更新控制注意力标签位置后继续回归,直至迭代结束。控制注意力标签不仅可以解决嵌套实体的表示以及丢失全局语义关系等问题,还可以编码候选跨度与上下文的语义结构依赖信息。另外,对于与真实实体重合度较高的候选跨度,迭代回归控制注意力标签可以有效地将候选跨度动态调整到真实实体的位置,更进一步真实模拟人类认知过程。通过在公共数据集上进行验证,基于控制注意力的嵌套命名实体识别方法在中英文数据集上都有明显的性能优势。
其他文献
缩小收入差距有利于我国实现经济转型,是实现共同富裕的重要路径.因此针对收入差距的研究尤其重要.本文以我国收入差距为研究对象,选取面板数据,分别从城乡、地区、行业三个层面先后建立分层贝叶斯自适应lasso分位数回归模型、倾向值匹配-双重差分模型(PSM-DID)及动态面板模型,对我国收入差距进行多维度研究.本文的主要工作集中在以下三部分:第一部分建立分层贝叶斯自适应lasso分位数回归模型分析我国城
学位
基于回答集语义的逻辑程序设计,即回答集程序设计(Answer Set Programming,ASP),是目前最广泛使用的实现非单调知识表示与推理的描述性问题求解方法之一,在人工智能的规划、诊断等诸多领域得到了广泛应用。如何提高ASP程序的可靠性(或保证其正确性)在工程实际中面临较大困难。结构化程序(自动)测试技术是软件工程领域常用的提高程序可靠性的重要方法,已被初步应用于正规逻辑程序测试中。析取
学位
移动支付拥有强大的便捷性和融合性,对我国居民的消费行为有着重要影响.本文以移动支付为切入点,通过构建BayesQR模型和SUR模型,分别探索其对居民家庭消费总量及消费结构的影响,本文的主要工作分为三大部分:第一部分是相关的理论分析及数据准备.首先,从理论上分析居民消费的影响因素及移动支付对居民消费的影响路径,为模型的变量选择及结果分析提供依据;其次,对西南财经大学中国家庭金融调查与研究中心最新公布
学位
磁共振扩散成像(diffusion magnetic resonance imaging,d MRI)是当前唯一一种可以无创检测活体生物组织内水分子扩散信息的技术,活体组织中的水分子受神经、细胞及周围组织结构影响进行受限扩散,其扩散位移分布可以反映组织的微观结构。为了从d MRI信号中准确地估计出水分子的扩散位移分布,高角度分辨率扩散成像(high angular resolution diffu
学位
联邦学习是以数据不出本地为前提的分布式机器学习隐私保护框架,各参与方利用私有数据训练本地模型,通过聚合模型参数的方式协同构建联邦模型,从而实现数据的可用不可见。然而在聚合各本地模型参数时存在两个问题:一是模型参数聚合时易导致参与方隐私泄露;二是聚合权重通常按数据量进行加权分配,不利于激励拥有数据量少但质量高的参与方,从而存在聚合权重分配不公平问题。针对联邦学习中模型参数聚合的隐私泄露和公平性问题,
学位
耳鸣是在无外界刺激情况下,患者自觉耳内或颅内有声音的一种主观感觉。本病的病因、病机复杂,已为五官科的难治病之一。目前,中医治疗耳鸣多从肾论治,从其他脏腑角度论治则较少,然而中医认为耳鸣的发生与身体各脏腑皆有一定联系,故诊治耳鸣可从多脏腑进行分析。李梴的《医学入门》阐释了一种新的脏腑之间的关系,即脏腑别通,认为心与胆相通,肝与大肠相通,脾与小肠相通,肺与膀胱相通,肾与三焦相通。这种新的关系对于临床诊
期刊
自世纪年代以来,投资组合优化问题一直是实际金融市场上的一个重要研究内容,它涉及不同资产之间的最优配置.Markowitz在1952年首先提出量化金融的观点并建立了均值-方差模型,该模型将投资收益和风险分别量化为期望和方差.近年来,基于均值-方差模型的投资组合优化研究已成为投资组合领域的热点问题之一.面对全球金融危机以及新型冠状病毒疫情等不确定突发事件带来的一系列影响,研究者们发现在复杂多变的金融市
学位
ROC曲线和曲面方法是现代诊断医学统计学的热门研究内容.针对诊断实验中有三种或三种以上诊断结果的情形,我们常采用ROC曲面来代替ROC曲线进行方法准确度的判断.回顾以往有关ROC曲面估计问题的文献,可以发现学者们大多使用的是参数方法和非参数方法,而利用半参数方法的研究很少.本文结合连续比例逻辑斯蒂回归模型和bootstrap方法研究了在一个半参数密度比模型下进行的ROC曲面估计,基于Reaven,
学位
在强化学习中,环境模型是对环境的动力学建模,能够对智能体执行的动作做出反应,对未来状态和奖励进行预测。把环境模型作为一种工具在强化学习中使用,其中一种主要的应用方式是利用环境模型生成模拟样本,进行策略规划。这一类使用环境模型进行策略规划的方法统称为基于模型的强化学习。虽然基于模型的强化学习能有效提高强化学习的样本效率,但是存在计算资源消耗大,对模型预测准确性要求高等问题。因此,研究付出更少代价,获
学位
共识机制在区块链应用中起到极其关键的作用,直接关系到系统的性能和安全。DPo S共识机制以高效率、低能耗等优点在共识算法领域占有一席之地,同时,DPo S因其中心化程度高、安全性低与投票不积极等问题备受争议。安全多方计算在数据隐私保护与联合计算方面具有得天独厚的优势,这与共识机制在某些方面不谋而和。利用安全多方计算生成可信随机数为共识机制提供随机性与公平性成为新的解决思路,将安全多方计算及其密码技
学位