数据海量化导致关键信息的获取难度与日俱增,因此,如何有效解决数据过载问题、从而让用户高效获取海量文本数据中包含的重要信息成为当今工业和学术界亟需解决的关键难点之一。目前,文本摘要技术是主流文本信息抽取技术之一,其包含抽取和生成式两种方式。深度学习技术快速发展,其在自然语言处理技术的不同研究领域都取得了长足进步,因此也被广大研究学者引入到文本生成研究领域。本文重点研究基于深度学习的生成式文本摘要技术,主要关注基于预训练语言模型的生成式文本摘要,并针对目前方法存在的事实不准确问题进行改进。主要的贡献如下:首先,提出了一种基于多层Transformer的序列到序列生成式文本摘要模型。该模型基于采用注意力机制的Transformer网络,首先将输入文本序列转换为符号嵌入、位置嵌入和段嵌入三种嵌入表示,然后将其输入到预训练BERT模型中进行微调,通过序列到序列的掩码机制控制文本生成过程中可见的信息。该模型利用预训练语言模型在语义理解和语义表示方面的良好表现,有效的将现实知识融入摘要生成过程,与此同时,减少了训练数据的规模。此外,研究了不同解码算法（Top-p、Top-K和集束搜索）对本模型生成结果的影响。其次,提出了一种结合问题生成和问答技术的生成式文本摘要事实准确度评估方法。该方法首先利用问题生成模型从生成式文本摘要结果中生成相应的问题,然后通过问答技术分别对摘要和原文生成答案,最后对比两个答案的相似性,从而获得文本摘要结果的事实准确度。实验结果表明,本文提出的基于预训练语言模型的生成式文本摘要模型生成的文摘效果优于基准模型,本文提出的事实准确度评估方法相对于传统的自动评估方法能够更好的评估文本摘要的事实准确度。