论文部分内容阅读
近年来,深度学习的方法被引入到自然语言处理领域,极大提升了自然语言处理在多项任务上的表现,特别是机器翻译。神经机器翻译相比于传统的统计机器翻译,实现了多方面的突破。然而在像汉语这种缺少词形变化的语言翻译成英语的场合时,由于汉语的动词时态没有明确标识,而英语的时态却直接通过动词的词形变化来指示,这使得保持翻译前后的时态一致性变的十分困难。在统计机器翻译时代,保持翻译前后的时态一致性工作有不少学者曾经研究过,而进入神经机器翻译时代以来,却鲜有人涉足。而通过我们的调研发现当前的神经机器翻译系统依然存在较严重的时态翻译的问题,因此,我们提出两种方法,通过不同的思路来尝试解决当前汉-英神经机器翻译系统中的时态翻译一致性问题。本文第一种解决时态翻译一致性的方法,是采用将源端汉语时态信息传递给目标端英语的方法。首先利用神经网络构建汉语时态标注模型来获取汉语的动词时态,在翻译的过程中利用传统Attention机制的对齐矩阵将源端时态传递给目标端,并将候选译文词集里与相应源文词时态不一致的译文候选词的概率降低。通过这种方式,可以基本实现汉语到英语的时态翻译一致性。针对时态标注模型和结合时态标注的NMT系统,我们进行了详细的实验,最终实验结果也表明我们的模型是有效的。但这种方法完全依靠传统Attention来传递时态信息,难以避免地存在传播误差,因此,我们进一步提出另一种方法来避免这个问题。本文的第二种方法是从另外一个角度来看待时态翻译一致性的问题,根据深度学习“端到端”的思想,我们尝试通过神经网络直接生成目标端的时态,而不是从源端获取时态。通过构建时态Attention模块,关注源端与时态表达相关的内容,进而生成Decoder的每一个时间步对应的时态,然后再利用这个时态预测和译文候选词的时态进行对比,降低时态不一致的候选词的概率。在我们展示的实验结果里也表明了这种方法对于解决时态翻译一致性问题的有效性。