自然语言处理（NLP）作为人工智能领域的重要分支,其研究的方向十分多。其中生成式任务更是当下的研究热点,因为生成式任务更具挑战性,它主要包括自动文本摘要和机器翻译两个子任务。自动文本摘要即机器从给定的文本中提取整个文本的关键内容。自动文本摘要可以极大地提升人们从海量数据中获取关键信息的效率,除此自动文本摘要还具备为短新闻文本生成标题的用途。当下基于神经网络设计的文本摘要模型都用到了多层编码器,而源文内容经过多层编码器后虽然可以挖掘到深层语义信息,但容易产生语义偏差。机器翻译任务即让机器代替人类完成源语言到目标语言的翻译工作。当下机器翻译研究使用神经机器翻译模型居多。当下多数神经机器翻译模型都是基于Transformer模型进行改进,但是这些模型都没有利用到源语言文本中的关键信息,而对关键信息的翻译是否准确直接决定了最终的翻译质量。本文为解决上述问题,主要完成了以下工作:1.首先,我们针对BERT无法适应文本摘要任务的问题,根据UNILM模型中的思路修改了掩码矩阵,从而让BERT可以完成文本摘要任务。其次,我们为了解决输入经过多层编码后出现的语义偏差问题,提出了一种基于胶囊网络的语义监督方法改善该问题。通过胶囊网络对第一层及最后一层的编码结果进行语义特征聚类,之后再对聚类后的语义特征进行距离监督,从而起到语义监督作用。最后,我们在LCSTS及CNN/Daily Mail数据集上进行了实验。2.我们提出了一种基于Transformer模型融合关键信息的神经机器翻译模型,以改善机器翻译模型对于关键词翻译存在的漏译、错译等问题。我们对当前主流的关键词提取算法进行了对比研究及筛选,最后选择了实际效果最好的Text Rank算法。关键信息的融合我们使用Multi-head attention的方式,并通过阈值控制关键信息对深层编码信息的干扰。为了验证了我们提出的方法的有效性,我们在WMT数据集的中-英和英-德两个数据集上进行了实验。3.为了验证我们所设计的模型的实际应用效果,我们设计实现了一个线上文本摘要系统。该系统基于B/S架构设计,并采用前后分离的方式进行部署实现。该系统包括用户登录注册及文本摘要等主要功能。我们还对整个系统进行了功能性测试及压力测试等。最终实际效果表明我们设计的系统简单易用,且能够提供相对准确的文本摘要服务。