基于PGNet的新闻摘要生成研究

来源 :西安工业大学 | 被引量 : 0次 | 上传用户:luzhenning
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今的互联网时代,大量的新闻出现在人们的日常生活中,需要人们花费更多精力和足够时间在庞大的信息库中去搜索和甄别我们感兴趣的内容,而文本自动摘要技术可以在不更改文章含义和不丢失其重要信息的前提下,概括出新闻的关键信息和主体内容,从而帮助人们减少阅读的时间。近年来指针生成网络模型(Point Generator Network,PGNet)的提出极大地促进了摘要生成技术的发展,有效解决了未登陆词无法生成和内容重复问题,但该模型存在未能充分理解句子的上下文语境、导致生成的内容缺乏关键信息等问题。此外,当文字序列过长时可能出现梯度消失、梯度爆炸的现象,因此该模型对长文本的处理较差。针对上述问题,本文进行了针对性的研究,主要集中在改进基于PGNet的自动文本摘要技术上。具体而言,本文的主要研究工作包括以下方面:(1)首先本文针对PGNet模型对句子的上下文理解不够充分、生成内容缺失核心信息的问题,基于指针生成网络,提出一种原文信息增强表示的摘要生成模型Re-PGNet(Reforced Point Generator Network)。该模型首先利用BERT预训练语言模型来提取输入语句更加细粒度的上下文表示;接着在PGNet的编码器端,利用词句匹配矩阵来给词的状态融入和该词最相关的原文信息,来提高对原文有效信息提取的能力;最后,将关键词作为先验知识融入到模型的解码过程中,生成以关键词为导向的摘要。(2)针对PGNet存在对长文本处理较差问题,本文将摘要生成任务分为两个阶段实现:抽取式阶段和生成式阶段。通过提出的基于Text Rank与多维语义特征融合的自动摘要抽取模型MD-Text Rank(Multi-dimensional Text Rank),从原文中抽取出能代表文章关键含义的句子作为候选摘要句输入到生成式阶段的Re-PGNet模型中来生成最终的摘要。其中,MD-Text Rank建立在传统的Text Rank算法上,引入BERT表示新闻文本信息,并从句子与标题相似度、句子与主题相似度、关键词覆盖率、是否含特征词四种维度对句子的权重加权更新来得到摘要句。最终,本课题得出两个结论。第一,实验结果显示,在LCSTCS微博短文摘要数据集和NLPCC 2017新闻长文本摘要数据集上,本课题提出的原文信息增强表示的摘要生成模型Re-PGNet在处理长文本和短文本时都是切实有效的,相比于当前主流的生成式文本摘要方法,本文提出的方法在Rouge评价指标上取得了显著的提高。但是,在NLPCC 2017数据集上的Rouge指标低于LCSTCS数据集,表明该模型对长文本的处理还有待提高。第二,实验表明采用多维度加权的摘要方法,抽取出的候选摘要优于Text Rank算法与其它一些基线模型的抽取结果。并且,经过两阶段生成的摘要结果,在Rouge指标和也明显优于PGNet模型直接处理长文本生成的摘要结果。
其他文献
灾后应急易腐物资的分配是应急资源调度的重要组成部分,对减少灾害损失、人员伤亡,提高救援工作效率,降低灾民心理压力等具有重要意义。然而,由于在实际救援中,受灾点的需求信息往往难以在第一时间确定,对于应急易腐物资的需求量往往是模糊的,加之受气候等不可抗力因素的影响,腐败率的变化也变的模糊,传统的配送无法满足受灾点的需求,因此,为了有效地提高救援工作效率,本文以配送延时惩罚和腐败成本最小、需求未满足度最
学位
社区团购依托各类社区店,例如社区便利店、驿站等,开展社区电商业务。团长作为社区团购终端物流配送点,负责日常收货、发货、储存及退货环节。在同一工作场所下,团长一方面负责社区团购平台商品的收发、储存和售后,另一方面负责自己店铺现有商品的销售。由于这种双重身份工作职能的不同,会产生不同的身份认同,从而无法很好地履行社区团购中团长的工作职责。那么,双重身份是如何影响团长在社区团购中工作投入的呢?因此,本文
学位
突发性灾害过后,救灾物资储备中心先派出大型车,向物资分发点运送应急物资,各个分发点再派出小型车将物资配送至物资需求点,考虑应急物资不足且不同需求点对同种物资的需求重要度不同的情形,定义同一种物资对每个需求点的单位需求重要度,分别以总需求重要度∑(每个需求点对同一种物资的单位需求重要度*需求点的物资实际配送量)最大和总运输成本最小为双目标,以单个需求点全部需求被满足产生的最大需求重要度与实际配送到的
学位
随着电子商务市场的快速发展,基于邻里社交的社区团购模式应运而生。该模式主要依赖于平台和靠近消费者端的团长之间的有效协作,共同构建了以平台为核心的供应链模型。具体而言,平台负责产品的选品和物流配送,而团长则负责终端促销和顾客关系维护(本文统称为努力投入水平)。实践证明,团长的努力程度直接影响到供应链的运作效率以及双方的利润。因此,平台需要探索科学有效的激励机制,以推动团长做出有利于双方收益最大化的决
学位
随着电商的迅速发展和客户需求的不断变化,对仓配中心的货物拣选效率提出了更高的要求。货位指派和订单分批作为影响拣选效率的关键因素,成为企业急需解决的重要问题。本文基于货到人拣选模式,研究订单随机到达的货位指派与订单分批问题,首先,在考虑了随时间动态变化的商品需求频率和关联性的前提下构建动态货位指派和订单分批模型;其次,针对现有拣选策略的不足设计新的拣选策略和求解算法;最后,进行仿真实验对比不同拣选策
学位
随着虚拟现实技术的快速发展,虚拟手术作为虚拟现实技术在医学领域的典型应用,已从传统的视觉交互向触觉交互发展,因此力反馈模型的研究成为虚拟手术的关键技术,一个良好的力反馈模型和力反馈算法可以为虚拟手术带来更强的沉浸感。本文以虚拟现实技术在口腔医疗教育培训中的应用作为背景展开,研究了力反馈的两个阶段,即几何建模阶段和力反馈建模阶段,在现有力反馈模型基础上提出了改进方案,解决了反馈力输出不连续且不稳定的
学位
为保障生态文明建设,实现可持续发展,中国在2020年提出了双碳战略目标。作为近年来快速发展的综合性服务业,物流业的碳排放量一直在我国占据较大比重,为响应国家的双碳目标,急需由高碳排放发展模式向低碳发展模式转型,而环境规制是实现低碳物流转型的重要手段。目前关于环境规制的研究主要从单一环境规制工具的角度出发,较少考虑不同环境规制工具的交互作用;同时现有研究还发现环境规制对我国碳排放效率存在非线性的门槛
学位
视线估计技术是利用现有的不同检测方法获取用户当前注视方向的技术。视线估计在生活中发挥着越来越重要的作用。在注视的过程中,伴随着头部的运动行为,如何提高头部运动变化时中的视线估计精确度,是目前视线估计领域的一个挑战。本文提出使用眼动特征并结合头部运动变化特征的视线估计模型。论文主要研究了如下内容:1)眼动特征提取本文眼动特征主要包括瞳孔中心、眼角点以及二者构成的眼动向量。首先应用Haar特征和Ada
学位
当前光学遥感图像目标检测技术在军事、环境、城市规划、农业、林业等领域有着广泛的应用。与自然图像相比,遥感图像具有小目标多且密集分布、方向多样、背景复杂和目标尺度变化范围广泛等特点,这为通用目标检测算法在遥感图像上的应用带来了一定的挑战。对此也有很多针对性的改进算法被提出来,但是大多都只从遥感图像中的某一两个难点问题出发,而缺乏一定的综合性,其检测性能也很难达到在普通图像上的较高水平。为了能够更加快
学位
随着大数据信息化时代的到来,各个领域数据信息急剧增长,人们对数据信息处理技术的要求也越来越高。压缩感知突破奈奎斯特采样定律,很大程度上缓解了数据的获取和传输压力。传统的压缩感知重构算法需要进行多次迭代求解原始信号,使得算法计算速度慢,重构精度差,且不具有实时性等优势。近年来,随着深度学习的快速发展,深度神经网络技术在压缩感知领域的应用有效地提高了压缩感知重构的精度和效率,并引起学者们的广泛关注和研
学位