【摘 要】
:
近年来,随着深度学习在自然语言处理领域的快速发展,对话系统作为自然语言处理领域的重要应用受到了学术界和工业界的广泛关注。长期以来,研究人员致力于构建能够与人自然对话的智能机器人,而如何赋予机器人表示和应用知识的能力是构建智能机器人的关键挑战之一。目前,基于知识的对话系统通常使用外部知识库、知识图谱或额外的文本信息作为对话系统的知识输入。然而,在实际的应用场景中,外部知识规模庞大、数据类型多样,如何
论文部分内容阅读
近年来,随着深度学习在自然语言处理领域的快速发展,对话系统作为自然语言处理领域的重要应用受到了学术界和工业界的广泛关注。长期以来,研究人员致力于构建能够与人自然对话的智能机器人,而如何赋予机器人表示和应用知识的能力是构建智能机器人的关键挑战之一。目前,基于知识的对话系统通常使用外部知识库、知识图谱或额外的文本信息作为对话系统的知识输入。然而,在实际的应用场景中,外部知识规模庞大、数据类型多样,如何统一有效表示知识以及基于上下文场景选取合适的知识应用到对话中是非常困难的。此外,基于知识的对话数据集规模往往相对较小,系统在训练阶段容易对训练数据中的信息过度拟合,导致模型在具有新知识场景下的泛化性较差。针对以上问题,本文进行了以下的研究工作:(1)基于知识增强框架的多子目标对话推荐系统:本文首先以真实场景下的基于知识的对话任务为例,研究如何在对话系统中有效融合知识。我们针对多子目标推荐对话任务,提出了知识增强的多子目标驱动的推荐对话系统(Knowledge-enhanced Multi-subgoal Driven Recommender System,KERS)。KERS从知识图谱中有效选取细粒度的知识并将其融合到对话系统中。该系统使用对话引导模块规划一系列的对话子目标,并为当前的子目标选取细粒度的知识。此外,我们提出了顺序注意力机制、噪声过滤器和知识增强模块在回复中融合输入的知识。Du Rec Dial数据集上的实验结果证明KERS比过去的模型能更有效地利用知识。(2)具有鲁棒性的知识型对话系统:为了进一步提升基于知识的对话系统的泛化能力,本文提出具有鲁棒性的知识型对话系统(Robust Knowledge Grounded Dialog System,Ro KGDS)。Ro KGDS使用桶编码器对结构化和非结构化的知识进行统一的高效编码,并使用混合注意力机制有效地应用预训练语言模型参数,提高模型鲁棒性。此外为了增强系统生成知识的能力,我们使用复制机制从输入知识中直接复制信息到回复。我们在DuConv、DuRec Dial和CPC数据集上进行了广泛的实验。实验结果表明Ro KGDS比其他基线模型具有更好的鲁棒性。(3)基于实体扰动的知识型对话系统:模型在具有新知识场景下泛化性较差的一个重要原因是系统生成了事实错误的回复,称为幻觉问题。本文可视化了具有幻觉问题的对话模型的内部注意力矩阵,分析并提出了学习幻觉(Learning Hallucination)问题。学习幻觉是模型在训练过程中学习了错误的知识映射,是导致幻觉的重要原因之一。本文提出了实体扰动(Entity Perturbation,En PT)方法调整输入的知识来减轻学习幻觉问题。在DuConv和DuRecdial上的实验结果证明了EnPT的有效性。
其他文献
时间序列异常检测旨在从时间序列数据中识别异常模式。长期以来,时间序列异常检测一直是一个重要的研究领域。随着时序中模态数量的增长,时序的复杂程度以及异常检测的难度都会逐步增大。本文针对三种不同复杂程度的数据类型,即单个模态、两个模态、多个模态(大于等于三个模态),依次提出了三种不同的时序异常检测框架,用于有效利用不同类型数据中的信息。针对单个模态数据集上时序的概念漂移问题,本文提出基于概念漂移检测的
随着NAND闪存的持续性发展,得益于其高性能和大容量的表现,基于NAND闪存的固态硬盘(Solid State Drives,SSDs)已经成为了主流的存储介质。随着制造工艺的发展和削减成本的需求,高密度和低成本的闪存介质占据了主流市场,它们可以在单个闪存存储单元中存储多个比特信息。但是该类高密度的闪存颗粒,存在I/O性能较差、擦写寿命更短等问题。为了调和容量与性能的矛盾,混合式SSD被发明出来。
喀斯特石漠化是我国西南地区生态建设的重要屏障。由于人类不合理的开发利用,森林遭到破坏,植被恢复成为该区域的主要治理措施。研究喀斯特次生林物种多样性和地上生物量,能为喀斯特地区的植被恢复和保护提供一定的参考依据。本文以黔中普定县的植物群落为研究对象,利用2012、2015和2020年的样地监测数据,分析了8年间的群落结构组成、不同尺度下物种多样性和地上生物量的变化特征以及环境对两者的影响,研究结果如
近年来,随着人口老龄化和亚健康人群的增多,2020年新型冠状病毒全球爆发,国内医院和医疗机构对医疗器械的需求逐年增加。各大医疗器械研发和生产公司扩大了器械生产规模。笔者公司的传统医疗器械服务平台采用单体式架构搭建,出现功能耦合度高、性能下降、开发和测试周期长等问题。同时,当系统面临在线提货、器械安装和维修等高并发业务场景时,经常出现系统停机,严重影响用户体验和公司业务运作。本文作者设计实现的基于微
近年来包括香港资本市场在内的海外资本市场持续疲软,相较之下境内资本市场正在蓬勃发展阶段,因此随着分拆上市相关制度的不断完善,越来越多的在港公司倾向于通过分拆子公司上市的方式回归境内A股市场并享受发展红利。港股分拆回A股作为新兴的资本市场热点话题日益受到关注。本文以港股母公司微创医疗分拆旗下子公司心脉医疗至境内科创板上市为案例对分拆上市的绩效影响进行研究。在对案例公司所处行业以及母子公司基本情况进行
异构分布式系统中计算应用的调度长度最优化问题备受关注。囿于通信网络的带宽及传输速度等限制,通信开销对调度长度的影响不容忽视,通过减少通信开销优化调度长度是研究的焦点之一。为尽量减少通信开销,基于任务复制的各类调度算法应运而生,其可以通过额外的计算开销来减少通信开销,并取得了极好的效果。然而,任务复制的引入会使调度问题更加难以求解,如何在使用任务复制提供高质量调度方案的同时,减少求解时间是当前面临的
图像超分辨旨在从退化的低分辨图像重建出更多高分辨细节。随着双目成像技术的发展,双目图像已广泛应用于深度估计、虚拟现实与自动驾驶等领域。相较于单图超分辨,双目图像在由视差引起的极线约束下高度对称,因此可以利用左右视图间的互补信息进一步提升超分辨效果。近年来,研究人员已将深度学习成功应用于双目图像超分辨,其中多数方法利用视差先验获取图像间匹配信息,取得了卓越的性能,但也存在部分问题:1)对两视图特征的
序列推荐是推荐系统研究的一个重要分支。现有的序列推荐方法未能够有效地利用交互数据中的关联信息和属性信息。针对关联信息的利用,现有方法忽视了序列中物品间的时间间隔和共现频率对于物品关系的影响。针对属性信息的利用,现有方法忽视了物品间公共属性对于物品关系的影响并且没有对同一物品的不同属性进行区分。为了解决上述问题,本文提出的序列推荐模型采用图神经网络去有效利用上述两类信息。本文首先提出了一种融合关联信
在文化产业和旅游业呈现融合发展的趋势下,文旅融合下的文创产品设计也越来越受到重视,优秀的设计能将景点的文化元素,巧妙结合到游客和消费者的使用需求和旅游体验中,不仅能促进当地的文化传播,也能带来经济收益。本文的文创产品设计是在文旅融合的背景下,为河南商丘“虞城唐宋影视城”所进行的产品开发设计。首先通过“虞城唐宋影视城”文旅资源的挖掘,归纳出虞城唐宋影视城的建筑风格、影视历史、地域传说等方面的文旅资源
长期以来,图像检索方法一直是计算机视觉领域的研究热点。最近,Transformer模型在图像检索任务中取得了优于卷积神经网络的表现。然而,目前Transformer模型在图像检索任务中的相关研究极少,其潜力尚未得到充分挖掘。因此,本文基于Transformer模型中的Twins-SVT模型与深度度量学习框架,从模型结构、损失函数、检索流程三方面对深度图像检索方法展开研究,以提高检索精度。首先,本文