精准科学的电力负荷预测是科学制定调度方案和发电计划的前提,长时间序列的电力负荷预测是应对现代电力发展背景下更多复杂情况提出的新需求。神经网络因为其强大的非线性拟合能力在电力负荷预测领域取得了出色的效果,近年来逐步成为学者研究的主流方向,然而大多数基于神经网络的电力负荷预测模型在长时间序列电力负荷预测中容易出现误差的累积和信息的丢失,使得模型难以捕捉电力负荷数据中的长程规律,并且长时间序列电力负荷预测相较于常见短期和超短期电力负荷预测存在计算机资源开销大、训练效率低的问题。本文对基于自注意力机制的模型在长时间序列电力负荷预测任务上进行研究,主要工作如下:1、对常见电力负荷预测模型进行概述,并分析其在长时间序列电力负荷预测问题上存在的局限性,然后引入了注意力机制,通过数据集验证了注意力机制在电力负荷预测中的有效性。紧接着引出完全使用自注意力机制的Transformer模型。分析得出了Transformer模型数据之间距离为1的优势能够有效减少了长距离信息的丢失以及误差累积的结论,为将Transformer模型优化后用于长时间序列电力负荷预测提供理论支撑。2、对Transformer模型在电力负荷预测任务上的输入进行适配,针对Transformer模型在计算自注意力权重过程中内存开销的平方倍增长问题,通过自注意力矩阵稀疏化将每一层的复杂度由Ο（~2）降低至Ο（ln）,优化了自注意力权重矩阵对内存的开销。针对Transformer模型编码器解码器不适应长时间序列电力负荷预测的问题,对编码器的特征图生成方式进行优化和解码器的输出结构进行了优化,降低了编码器的内存开销,提升了解码器的输出速度。3、通过实验探究了稀疏自注意力模型中主要参数的最优解,并将优化参数后的模型与其他几种常见电力负荷预测模型使用南昌市桃苑变电站数据集进行对比实验。实测数据结果表明,与循环神经网络类模型相比,基于稀疏自注意力机制的模型在预测精度和训练效率方面具有明显优势,为解决长时间序列电力负荷预测问题,提供了一个新解决思路下的真实案例参考。