融合依存语法信息的神经机器翻译模型研究与实现

来源 :河北科技大学 | 被引量 : 3次 | 上传用户:qilinsanshao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工神经网络的发展,神经机器翻译模型展现出了巨大的潜力和良好的发展前景,目前已经成为了机器翻译学术界和工业界的研究主流。神经机器翻译模型在一些翻译任务上已经超过了传统的统计机器翻译模型,达到了SOTA(State-of-the-art)的效果。神经机器翻译模型翻译流畅度较高,然而存在着翻译准确度不高、易过翻/漏翻、模型可解释度不高、长句子翻译困难等问题。在此背景下,越来越多的工作尝试使用语言学知识来提高神经机器翻译模型的性能。研究结果表明,语言学知识的融合丰富了神经机器翻译模型可学到的翻译信息,提高了神经机器翻译模型的性能。然而,语言学知识作为一种额外的、规则的、多样的信息,如何与神经机器翻译模型进行有机的、高效的融合,成为了神经机器翻译研究中的一个重要主题。因此,本文针对目前神经机器翻译模型中语言学知识引入效率低和引入的方式等问题进行了研究。具体研究工作如下。1)针对神经机器翻译模型准确度不高、长句子翻译困难以及现有的语言学知识融合方式等问题,在编码器解码器神经机器翻译模型基础上,本文提出了基于依存信息监督的局部注意力机制下的神经机器翻译模型。本模型将语言学知识中的依存信息与局部注意力机制结合,使用语言学知识来提升注意力机制,从而将依存语法信息以更准确更有效地方式融合进神经机器翻译模型中来提升翻译效果。2)针对语言学知识利用效率低下、在引用过程中增加额外成本等问题,在编码器解码器神经机器翻译模型基础上,本文提出了基于多层注意力机制下的神经机器翻译模型。本模型改变了将语言学知识作为一种额外的信息机械的加入神经机器翻译模型中的方式,转而尝试将神经机器翻译模型自身学到的语言学知识充分地加以利用。本模型既利用了语言学知识,又不需要引入额外的语言学知识,以更有效更快速的方式提高了神经机器翻译模型。
其他文献
随着如今实际生产中被控对象呈现出非线性、时滞性和多维度等复杂特征,传统PID参数整定方式已无法满足控制系统的众多复杂特征。随着群体智能算法的发展,利用群体智能算法良
复杂充液航天器的晃动及其对控制系统的影响是当前空间高技术的重要问题。 本文首先由力学变分原理导出充液复杂系统的方程式,其中包括流体力学方程和相应的边界条件,以及弹
<正>未来的城市规划和房地产发展,要把更多的眼光放在生活网络上,一个生活网络的完善与否,决定了一个地方长期的发展价值。广东省住房政策研究中心副主任陈洋博士在2019’第
改革开放之后,我国将社会主义现代化建设上升到全国的工作重点,经济增长的地位得到空前提升。衡量政绩优良的指标逐渐变成经济增长速度的快慢,各地区之间的经济竞争愈发激烈,