论文部分内容阅读
本文针对Transformer中编码器进行改进,尝试了包括RNN(recurrentneuralnetwork)、CNN(convolutionalneuralnetwork)、动态路由等多种结构,对比其特征提取能力及对解码器的影响。实验表明,在编码器中引入RNN、IndRNN结构可以在一定程度上增加编码器对源语言的特征提取能力,而采用CNN替代编码器中的自注意力机制(self-attention)可以在不明显影响结果的情况下显著降低参数量,提升模型性能。由于考虑参数量和执行时间,动态路由在该任务下效果不