【摘 要】
:
当今世界人类社会和经济社会快速发展,随着世界各国全球化合作日益加深,人类社会对机器翻译的需求也迅速增加,而人工智能技术的进步,也对机器翻译的质量提出了新的要求。同时,机器翻译研究的开展,对自然语言处理的其他领域有着标杆性的作用。因此,对于机器翻译的研究不仅具有很高的实用价值,更能推动自然语言处理理论研究的进步。机器翻译模型可以分为统计机器翻译和神经机器翻译两大类。其中神经机器翻译模型是利用深度学习
论文部分内容阅读
当今世界人类社会和经济社会快速发展,随着世界各国全球化合作日益加深,人类社会对机器翻译的需求也迅速增加,而人工智能技术的进步,也对机器翻译的质量提出了新的要求。同时,机器翻译研究的开展,对自然语言处理的其他领域有着标杆性的作用。因此,对于机器翻译的研究不仅具有很高的实用价值,更能推动自然语言处理理论研究的进步。机器翻译模型可以分为统计机器翻译和神经机器翻译两大类。其中神经机器翻译模型是利用深度学习技术,完全依赖于神经网络搭建的翻译模型,主要由编码器和解码器两个部分组成。经典的“编码器-解码器”模型中大多采用的是循环神经网络。但由于循环神经网络本身不适合进行深层网络的叠加,所以很难通过叠加多层网络来提高机器翻译模型的性能。而当下正流行的Transformer模型在延用“编码器-解码器”框架的同时,完全摒弃了循环神经网络,采用多头自注意力机制和前馈神经网络进行模型网络的搭建,虽可以进行多层网络叠加,但因其摒弃循环神经网络,所以失去了输入序列的位置信息特征,为解决此问题,该模型在对文本进行转换表示的过程中加入了位置信息向量。基于对以上问题的思考,本文作出如下工作和研究:(1)针对第一种经典的基于循环神经网络的翻译模型,本文引入了独立循环神经网络作为模型的网络结构。通过分析推导,证明了该网络不但能保持循环神经网络的基本序列位置特性,还可以有效的解决梯度消失和梯度爆炸的问题,同时该网络能够很好的通过叠加多层网络来提高模型的效果。(2)对改进后的第一种模型进行了实验验证。在实验中设置了3组对照实验,其网络结构分别为循环神经网络、长短期记忆LSTM、GRU。通过比对分析得出在实验的数据集上,独立循环神经网络的表现优于其余三组对照实验,并且叠加多层后对模型的提升效果高于其余三个模型。(3)针对第二种Transformer模型,受到其文本编码过程及翻译工作的语言认知学本质启发。本文将文本中单词的词性信息融入到编码过程中,与词向量表示和位置向量表示相加后作为最终输入向量。(4)对改进后的第二种模型进行了实验验证。在实验中将原Transformer模型作为基线模型进行对比分析。实验结果表明,加入词性信息后的Transformer模型翻译效果要优于基线模型。
其他文献
为更好地推广和利用楸树优良品种种质资源,解决市场上楸树苗木资源急剧下降问题,本试验以 ’洛楸1号’、’朝霞楸’(花色红)、’云朵楸’(花色白)和’鲁楸1号’ 4个楸树优良
卓然股份有限公司日前宣布其APPROACH系列移动多媒体处理器,将卓然公司的数码相机图像信号处理(ISP)功能和其他多媒体功能整合在业内成本效益极高及适用于移动电话市场的系统级
目的:分析过去59个月期间开展急诊经皮冠状动脉介入治疗(PCI)的397例急性冠状动脉综合征(ACS)患者的即刻和随访结果.方法:1999年3月~2004年1月对397例ACS患者经股动脉或桡动脉施行急诊PCI.310例ST段抬高性心肌梗死(STEMI)患者施行直接PCI治疗,补救PCI治疗7例STEMI,急诊PCI治疗80例不稳定型心绞痛或非ST段抬高性心肌梗死(UA/NSTEMI).结果:直接
全球气候变暖造成的海平面上升以及极端气候环境的变化,给人类生产生活带来了巨大的挑战,受到科学界乃至国际社会的密切关注。在全球气候环境背景下,人类如何适应环境的变化,是科学界亟待解决的问题之一。全新世作为地质历史时期与现代接轨的最新地质阶段,孕育了众多的新石器文化,是农业起源发展、人类文化繁荣发展的关键,对于揭示气候变化与人类发展关系至关重要。位于杭州湾南岸的宁绍平原地区,孕育了众多的新石器文化,是
FPGA已经不再是ASIC验证阶段的附庸了,在通信、消费电子和工业等领域逐步与ASIC形成分庭抗礼之势。Gartner预测,FPGA市场将保持两位数的增长,2010年的市场规模将由2005年32亿美
改革开放以来,民营经济异军突起、蓬勃发展,已成为我国农村经济的主体力量和国民经济的重要组成部分。本文在对山西省朔州市民营企业调查研究的基础上,分析了民营经济在经济发展
一、市场经济不能自己选择自己市场经济可以自发地产生,但市场经济模式却不能自己选择自己。它只能由凌驾于经济基础之上的政府和国家权力来选择计划模式或市场模式。在国家干
农业是灵武市的主导产业,创建以林为主的现代生态农业是灵武市经济发展的根本大计,本文提出了具有特色的规模化8大生产基地。
杨砦峪金矿床是小秦岭地区一处大型石英脉型金矿床,位于华北克拉通南缘,主要赋存于太古宙太华群深变质片麻岩系之中。矿床可划分为两个成矿期:热液成矿期与表生氧化期,其中热液成矿期又可以划分(Ⅰ)黄铁矿-石英阶段、(Ⅱ)石英-黄铁矿阶段、(Ⅲ)石英-碲化物-多金属硫化物阶段与(Ⅳ)石英-碳酸盐阶段。包裹体岩相学、显微测温及激光拉曼研究显示,杨砦峪金矿床的流体包裹体类型主要为含CO_2包裹体(C型)、气液两