【摘 要】
:
词嵌入可以捕获词语的句法和语义信息,已经成为了如今自然语言处理模型的重要组件,被广泛应用于各项任务并取得了显著的效果。但是,由于采用密集的向量表示,其包含的词汇语义可解释性较差。释义建模(Definition Modeling)任务通过利用词嵌入生成其自然语言释义使得向量表示所捕获的语义显式化。该任务与语言建模、文本生成、词义消歧等任务关系紧密。同时,随着人工智能和大数据的迅速发展,计算机辅助语言
论文部分内容阅读
词嵌入可以捕获词语的句法和语义信息,已经成为了如今自然语言处理模型的重要组件,被广泛应用于各项任务并取得了显著的效果。但是,由于采用密集的向量表示,其包含的词汇语义可解释性较差。释义建模(Definition Modeling)任务通过利用词嵌入生成其自然语言释义使得向量表示所捕获的语义显式化。该任务与语言建模、文本生成、词义消歧等任务关系紧密。同时,随着人工智能和大数据的迅速发展,计算机辅助语言教学在语言学习和交流中愈发重要。词语释义的自动生成可以辅助语言学习者学习和理解生词,在智能教育领域具有广泛的应用价值。本文研究基于序列生成模型的词典释义生成技术,解决释义建模中的关键问题:(1)针对释义生成中可利用的信息有限及生成文本多样性不足的问题,本文研究基于条件变分自编码器的释义生成模型,在训练过程中利用隐变量对词语释义的全局特征进行建模,更加充分的利用数据潜在语义信息。解码器结合隐变量信息和词嵌入进行释义生成。在生成释义的过程中通过多次采样可以为同一目标词生成多样化的文本释义。(2)针对词语存在一词多义的问题,本文提出基于门控化上下文感知网络的词语释义生成方法,采用多级别的目标词与上下文的交互方式对目标词进行词义消歧,分别通过门控感知机制与注意力机制将句子级别和词级别的上下文语义感知信息融合到目标词的向量表示中。在解码过程中,模型同时考虑目标词的语义与语境信息来生成上下文相关的更准确的词语释义。(3)为了探索更加智能的词典学习方法,本文尝试在生成释义的基础上利用词嵌入为目标词生成例句,设计两种基于多任务学习的释义-例句联合生成模型,分别通过平行与层级方式共享不同级别的表示,可以为目标词生成其文本释义和例句。此外,针对模型不能显式利用语境信息的问题,本文利用上下文嵌入对解码器进行初始化并为模型提供深度语境化的向量表示,进一步提升了模型的性能。(4)针对反向词典模型难以处理复杂的输入文本及处理低频词效果有限的问题,本文提出基于大规模预训练语言模型的反向词典分类方法,利用迁移学习的方式为反向词典系统提供深层次的语义表示及开放域知识,在不需要复杂模型结构设计和外部知识库的情况下有效提高了模型的性能。
其他文献
金刚烷胺是抗病毒类的药,但由于经济利益驱使和疫病防控的压力,目前我国家禽饲养中存在着金刚烷胺的滥用现象,而其残留蓄积易对食用者产生嗜睡、失眠、眩晕、抑郁、恶心等症
哺乳动物防御素由于具有抗菌能力强、抗菌作用广泛,不易使病源微生物等产生耐药性等优点而受到人们广泛关注。本实验在课题组前期研究的基础上,分别对猪β防御素2进行了定点
近年来,在乡村振兴战略和“四好农村路”政策利好的背景下,我国城乡公交和农村快递都获得快速发展,但是也面临诸如城乡公交发车间隔过长、上座率低以及盈利难,农村快递配送成本高、配送时效性差等问题。针对问题,本文依托陕西省交通运输厅科研项目《乡村振兴战略下城乡公共交通创新融合应用研究》(项目编号:18-27R),围绕考虑小件快运的城乡公交运营调度优化问题进行研究。首先,论文通过问卷调查法、座谈法、跟车调查
吡喃并吡唑和吡唑酮类衍生物均存在于许多天然产物中,是具有广泛生物和药物活性的重要杂环化合物。因此,这两类化合物的催化合成一直受到化学工作者的关注。本文旨在寻找、制
土壤硝化作用是土壤氮循环过程中一个非常重要的生物学过程,其对环境条件的改变如重金属污染等表现出很高的敏感性。近年来,我国工农业发展迅猛,但同时也致使土壤重金属如Cd污染愈发严重,且由此带来的各种环境生态问题日渐突显。已有有关重金属污染对土壤硝化作用影响的研究取得很大进展,但土壤硝化活性对不同重金属的响应可能并不一致,且以往的研究甚少涉及根围土壤硝化活性等。鉴于根围是土植之间物质交换最频繁的微环境区
快速发展的Android智能手机在给人们的日常生活带来便利的同时,Android恶意应用程序的数量也在日益增多,如何有效地发现Android恶意应用程序就成为了近年来信息安全领域的热
道路货物运输量作为道路运输量的重要组成部分,是交通运输统计工作中的重点难点。受传统道路运输量抽样调查方法的局限,道路货物运输量统计工作存在诸多问题,社会各界对道路货运统计数据也存在较多质疑,如何科学合理地推算道路货物运输量一直是学界和业界较为关注的问题。探讨考虑空间信息的平衡抽样设计方法,可以提高货物运输量估计精度,较为准确的把握道路货物运输的发展特征,更好地推动交通运输行业高质量发展和交通强国建
在高速铁路隧道中设置泄压竖井或者泄压横通道能有效降低隧道内的压缩波和隧道出口的微压波,其中又以泄压竖井的减缓作用最为明显。本文主要研究泄压井缓解隧道内气动效应机理以及泄压竖井主要结构参数对气动效应的影响进行研究,研究竖井的个数、间距和位置对隧道气动效应影响,为高速铁路隧道泄压井的设计与施工提供参考。本文采用数值方法研究了列车通过隧道时压缩波、二次压缩波和微压波产生过程及传播方式,分析了三种波在不同
本文利用北京闪电网(BLNet)总闪定位、S波段多普勒雷达和探空资料等,详细分析了北京地区两次具有对流合并现象的强飑线过程整个生命史期间不同对流区的总闪活动特征及对流合
随着风电技术的快速发展,我国风电机组装机量与日俱增的同时风电控制技术迭代速度也在日益提升,由此引发了诸多风力发电控制技术与发展速度不匹配的问题。风电场运维人员的技术水平对风机运性性能与风能可利用率至关重要,传统风电场新员工培训方式局限性日益突出,风电机组控制算法验证手段单一无法满足风电控制技术快速迭代的需要,这严重阻碍了风力发电产业的可持续发展。因此,无论对于风电场新员工培训还是风机控制算法验证,