时间序列预测是人们组织和利用信息的一种重要手段。预测可以提前获知事物在未来一段时间的发展趋势,并为之后的应用提供参考和指导。随着物联网时代的到来,在智慧交通、智能电网等代表性应用中,人们借助“物联网+”技术能够采集到大量数据,并通过分析数据来得到服务。深度学习方法能够由数据驱动来构建统计模型,并利用模型对数据进行分析。近几年,语言模型Transformer被很多工作迁移到时间序列预测任务中,并有着很好的表现。论文分析了 Transformer应用在时间序列预测中可能存在的问题,提出解决方案,并基于Transformer模型分别做单步预测和多步预测,主要工作如下:1.在单步预测任务中,论文提出了一种两阶段训练的双向Transformer模型（Bidirectional-Transformer,Bi-Transformer）。首先在较大数据集上对编码器做预训练,预训练任务为“完形填空”,通过自监督训练来建模时序关系;其次在目标数据集上对解码器进行微调。论文提出了一种用于强化周期信息的解码器,在解码过程中结合了周期信息和邻域信息。最后,根据数据集的序列普遍为周期振荡序列的特点,论文介绍了用作预处理的奇异谱分析算法（Singular Spectral Analysis,SSA）。通过实验,论文验证了 Transformer能够很好地解决单步预测任务,而Bi-Transformer能进一步优化性能。2.在多步预测任务中,论文阐述了 Transformer存在的问题,包括忽视局部联系、使用显式的位置编码和严重的误差累积,并提出了一种卷积编码——自回归解码的 Encoder-Decoder模型（AutoRegression-Transformer,AR-Transformer）。针对前两个问题,论文介绍了将一维卷积作为组成结构的编码器,用于强化局部信息。其次,一维卷积能够提取序列的时序特征,因而可以作为隐式的位置编码。针对问题后者,论文介绍了自回归方式的解码器,用于缓解Transformer加深误差累积的问题。论文在多个数据集上进行了相关实验,充分验证了AR-Transformer的有效性和通用性。