【摘 要】
:
近年来,类别可控的古诗生成式学习技术渐渐成为了前沿研究热点。诗歌智能生成技术在生成式预训练模型的基础上引入规划机制,成功实现对生成诗歌的自主可控。自主可控能力弱、存储成本高、格式限制严格是当前诗歌文本智能生成亟待解决的主要难题。针对给用户分发特定主题词的规划,会造成类别不平衡的问题;针对模型在小样本下生成与主题词相适的古典诗歌的规划,虽然语料成本降低,但训练、测试时参数存储成本过高;针对模型生成满
论文部分内容阅读
近年来,类别可控的古诗生成式学习技术渐渐成为了前沿研究热点。诗歌智能生成技术在生成式预训练模型的基础上引入规划机制,成功实现对生成诗歌的自主可控。自主可控能力弱、存储成本高、格式限制严格是当前诗歌文本智能生成亟待解决的主要难题。针对给用户分发特定主题词的规划,会造成类别不平衡的问题;针对模型在小样本下生成与主题词相适的古典诗歌的规划,虽然语料成本降低,但训练、测试时参数存储成本过高;针对模型生成满足特定格律规则要求的古典诗歌的规划,存在可控生成精度较差的问题。针对以上问题,本文聚焦生成式预训练模型,依次提出正负类别不平衡下的主题词点击率预测技术、小样本下的可控诗歌生成技术以及严格格式限制下的可控诗歌生成技术。(1)针对正负类别不平衡造成Area Under Curve(AUC)和准确率较差的问题,提出主题词点击率预测技术,避免由于主题词的不准确分发而导致生成诗歌的自主可控能力弱。所提方法利用重采样方法构建基线模型以尽可能不破坏数据真实分布,而后划分重组数据集构建修饰模型以有效利用重采样被丢弃的数据信息,接着在修饰模型中加入最优修正函数以有效利用修饰模型预测结果信息,最后将修正后的修饰模型与基线模型集成。实验证明,基于修饰模型集成的主题词点击率预测技术在该场景下能兼顾AUC和准确率的提升。(2)针对小样本造成模型无法兼顾可控生成精度和参数存储成本的问题,提出可控诗歌生成技术。所提方法利用提示学习将准确率高的主题词作为提示进行参数精调整以降低各类别存储模型参数的成本,而后引入轻量级精调以更新提示参数从而降低参数更新的存储成本。实验证明,本文提出的基于轻量级提示学习的可控诗歌生成技术在保证可控生成精度的同时,大幅降低了参数存储成本。(3)针对严格格式限制造成格律可控生成能力和多样性偏差的问题,提出严格格式限制下的可控诗歌生成技术。考虑到不同格律间数据分布差异较大,所提方法基于生成式预训练模型加入可控层归一化,而后利用度量学习以进一步减少各类别间数据分布差异。实验证明,本文提出的基于Layer-Normalized(LN)Transformer的可控诗歌生成技术提升了该限制下可控生成能力和多样性。
其他文献
近年来,世界整体局势经纬万端、变幻莫测,全球疫情仍未得到缓解,病毒不断变异升级带来新的不确定性和挑战,世界经济复苏势头尚未巩固,给产业链长且全球化程度高的电子信息制造业造成了一定的负面影响。海运塞港、原材料价格上涨和物流成本上升,使产品生产要素保障困难,疫情时开工不足导致产品出货量明显下降,激烈的市场竞争加速产品更新迭代,增大了研发投入,市场需求放缓,产品销售渠道受阻,种种因素均增加了企业的生产经
1994年的税制改革将国有企业所得税、集体企业所得税以及私营企业所得税进行统一合并,并引入企业所得税的概念,同时为了提高中央政府的税收收入并加强控制进行了税收共享系统改革,这两项重大举措奠定了中国税收体系的基石。2008年由国家税务总局出台的税收专项调整实施办法的一般反避税条款,增加了企业避税的边际成本和实施成本,显著优化了中国的税收执法环境,是21世纪最为重要的税收改革措施。以往关于企业避税行为
城市商业银行在商业银行的体系中是非常特殊的,在最开始成立时就有规定,城市商业银行的地方财政股东持股30%,其余由当地企业、居民、个体工商户构成,后来经过股权改革之后,虽然地方政府的持股比例总体呈下降趋势,但地方政府对城市商业银行的控制力度并没有减弱多少。最近这些年,城市商业银行的发展可圈可点,但与大型商业银行相比,仍存在一些问题,差距较大,城市商业银行股权结构的不合理造成了其发展过程中的问题,进而
图像作为人类获取信息的主要载体之一,就其清晰度而言,可以分为高分辨率图像(High-Resolution,HR)和低分辨率图像(Low-Resolution,LR),一般分辨率越高的图像蕴含的细节信息就越丰富,而人们获取的信息也就越多,因此,获取高分辨率的图像信息必不可少。由于某些因素,一些成像设备捕捉到的图像的分辨率并不是很高,针对于此,超分辨率技术(Super-Resolution,SR)应运
随着《公司债券上市预审核工作流程》《公司债券上市规则》等规定的相继出台,我国公司债市场蓬勃发展。然而中国的制度背景较为特殊,存在股权高度集中、投资者保护不足等问题,这些问题加剧了债务双方的代理冲突。而债券契约的合理设计能够有效约束债务人行为并保护债权人利益,促进债券市场的良性发展。因此本文将债券契约作为研究对象,并试图探究企业内外部因素与债券发行之间的关联。近年来,法律诉讼受到普遍关注,也成为投资
最近几年,随着国家不断出台各类金融风险防范措施,限制了众多融资手段。股权质押以一种新型的手段成为大众进行融资担保的关注对象。截至2020年底,数据统计显示,在沪深两地,3347家企业在上市板实现了股权质押。另外,很大一部分的控股股东实施了一系列连续的质押操作,质押实际数目在30%以下的上市企业已经超过了其半数以上。以控股股东身份进行质押操作的企业占了总数的58.93%,有11.08%的上市公司质押
我国早期资本市场IPO审核主要采取核准制,对上市主体资格和财务会计等方面要求较为严格,对于想要谋求上市的公司而言门槛较高。从20世纪90年代开始,我国部分公司为解决融资问题选择远赴海外谋求上市。然而,从2010年开始,中概股公司不时受到做空机构的突袭,股价也随之降低,中概股在海外市场的表现每况愈下,逐渐被边缘化。与此同时,我国政府不断深化国内资本市场改革,多层次资本市场结构逐渐形成。2019年,科
长期以来,“高质量发展”一直是学术界和实务界讨论的热点。十三届全国人大第四次会议审议通过的《十四五规划和二〇三五年远景目标纲要》强调,高质量发展仍是我国“十四五”规划乃至更长时期经济社会发展的主题,关系我国社会主义现代化建设全局。2017年10月,党的第十九次全国代表大会首次提出“中国经济由高速增长阶段转向高质量发展阶段”。2021年3月,习总书记对“高质量”发展作出了新的论述,“高质量发展不只是
汽车工业作为目前耗能较大的产业,存在着巨大节能和减排压力。在此背景下,汽车产业开始逐渐向新“四化”模式转型,对电动汽车相关的先进驾驶辅助系统(Advanced Driver Assistant System,ADAS)研究也正方兴未艾的进行着。其中自适应巡航控制(Adaptive Cruise Control,ACC)系统作为一种智能辅助驾驶技术也备受关注。传统的ACC系统主要维持一定的安全车距,
学校所提供的课后服务在很大程度上解决了“三点半难题”,为家长解除了后顾之忧,同时也为“双减”政策的落实提供了良好的条件。而在开展课后服务的过程中,学校应该积极关注进城务工随迁子女这一特殊群体的现状和需求,优先保障其课后服务需求。