论文部分内容阅读
近年来,句子简化任务已经成为自然语言处理中重点研究的文本生成任务之一,这是因为句子简化不仅可以应用于帮助阅读能力不佳的人群有效地获取信息,还可以帮助提高其它的自然语言处理任务的性能。比如,机器翻译、文本摘要以及智能对话等。目前主要的句子简化模型研究工作都是基于序列到序列的模型。但是,基于这种模型的研究仍存在以下不足:(1)模型输入缺乏上下文信息。当前,基于序列到序列模型的句子简化模型的输入都是基于相对独立的词向量,没有考虑词语在句子中的上下文关系。(2)模型的编码器结构过于简单,即,基于单一编码阶段的序列到序列模型不能有效提取输入文本的特征表示,也不符合人们在阅读复杂句子时会进行多次阅读的习惯。(3)解码器并不能有效地利用编码器的所有信息。比如,利用注意力机制的解码器仅与编码器的最终输出进行连接。(4)缺乏对句子层级结构信息分析的能力。目前,应用于句子简化的序列到序列模型中,缺乏对句子层级结构信息分析的能力。但是,引入句子的层级结构信息对于句子简化效果有着不可忽略的影响。针对问题(1)-(3),本文在基于现有的序列到序列模型的基础上,提出了基于多阶段编码器的序列到序列模型(记其为MULTI-STAGE模型)。在该模型中,编码器分为N-gram阅读阶段,浏览阶段和最终编码阶段。N-gram阅读阶段对输入句子的词向量矩阵进行卷积操作,得到具有上下文关系的卷积词向量矩阵。浏览阶段在N-gram阶段的基础上,对句子进行“浏览”操作,得到句子的局部编码信息和全局信息。最终编码阶段基于前两个阶段,对输入文本进行最终编码。同时,本文在模型的浏览阶段采用了注意力机制的弱连接方式,使得解码器可以更好地利用多阶段编码器的信息。针对问题(4),本文构建了ON-MULTI-STAGE模型。此模型在MULTI-STAGE模型的基础上,引入了一种有序神经元(Ordered Neurons,ON)的网络结构对模型的浏览阶段进行优化,从而为模型的编码阶段提供语句层级结构信息。实验结果表明,与传统模型以及其他相关的基于序列到序列模型的句子简化模型相比,本文提出的MULTI-STAGE和ON-MULTI-STAGE两个改进模型具有更好的句子简化效果。其中ON-MULTI-STAGE模型更优。它比MULTI-STAGE模型提高了4.24%,比基准模型中最好的序列到序列模型提高了6.46%。