【摘 要】
:
随着深度学习技术的迅速发展,深度学习技术与自然语言处理技术结合的场景也越来越多,其中对话系统成为当前的研究热点。对话系统广泛应用于问答、客服、智能设备等领域,它带来了新的交互方式,降低了企业提供服务的成本。相较于检索式对话,生成式对话跨领域能力和泛化能力强,更适合于开放域场景,因此本文主要聚焦于开放域的生成式对话任务。目前常用Seq2Seq模型构建对话系统,但是这样的模型存在学习不到长期依赖,安全
【出 处】
:
中国科学院大学(中国科学院大学工程科学学院)
论文部分内容阅读
随着深度学习技术的迅速发展,深度学习技术与自然语言处理技术结合的场景也越来越多,其中对话系统成为当前的研究热点。对话系统广泛应用于问答、客服、智能设备等领域,它带来了新的交互方式,降低了企业提供服务的成本。相较于检索式对话,生成式对话跨领域能力和泛化能力强,更适合于开放域场景,因此本文主要聚焦于开放域的生成式对话任务。目前常用Seq2Seq模型构建对话系统,但是这样的模型存在学习不到长期依赖,安全回复重复率高,从而导致生成响应多样性低的问题。因此目前亟需提升生成响应的多样性。本文针对这个问题,主要工作如下:本文提出了基于分离Context机制与CVAE的Transformer对话模型用来提高对话系统生成响应的多样性。首先针对现有的模型无法显式的处理上下文话语和源语句之间的差异,本文提出的模型通过分离上下文机制,充分挖掘了上下文语句和源语句对于生成响应的不同影响程度。其次,模型使用CVAE结构引入隐变量,通过隐变量获得潜在语义分布的特点。针对现有基于RNN或LSTM的CVAE结构不能捕捉更长依赖的缺点,本文的模型使用Transformer融合CVAE结构的方式引入隐变量,不但可以捕捉到长期依赖的能力,还可以通过隐变量获得更加丰富的潜在语义分布,进而提高对话模型生成响应的多样性。最终在多轮对话的数据集上和现有模型的对比实验结果表明,本文提出的改进机制和改进模型可以有效地提升对话系统生成响应的多样性。
其他文献
对于日地环境耦合过程的深入探测以及对空间天气的实时监测将有助于保障人类日益频繁的空间活动。其中空间电场的探测数据可用于揭示空间粒子能量来源和加速机制、极区物质的
人体基因编辑技术是在分子层面对遗传信息进行精准修饰的技术,通过删除、替换、增加特定基因组序列,改变生物体遗传信息,进而影响人体相关性状表达。基因编辑技术在人体运用的首要目的就是预防和治疗重大疾病,并在此基础上推动我国医疗技术的进一步发展,但是人体基因编辑技术在给我们带来医疗红利的同时也引发了社会、伦理、法理等诸多不容忽视的问题。通过对我国现行人体基因编辑技术相关法律规范的梳理,不难发现现行行政法律
目的:进行脓毒症患者不同阶段的血栓弹力图(thromboelastography,TEG)和常规凝血指标的动态研究,综合评价脓毒症患者中TEG及常规凝血指标对凝血功能障碍的诊断价值。方法:根据
随着科学技术的不断发展,信息技术的进一步革新,传统的生产生活方式都在向着数字化、智能化转型。电子数显式仪表作为数据监控与测量的重要工具,在工、农、林、牧、渔等行业发挥着重要作用,对保障正常、合理、安全的生产生活具有重要的价值。电子数显式仪表凭借其直观性强、测量精度高等优点得到了越来越广泛的应用。但是,目前仅有少量的电子数显式仪表具备网络传输数据功能,可以实现测量数值的自动获取。在很多户外便携式设备
苯硼酸和氨基化合物在有机合成中都是非常重要的物质,可以参与很多不同类型的化学反应,并且两者共同参与的有机反应在合成化学和医药化学中更是存在着无限可能性,对于这类反
目的:凝血因子Ⅷ(coagulation factor Ⅷ,CFⅧ)是机体内源性凝血途径中的核心酶系,在组织因子触发的凝血级联反应中发挥关键作用,CFⅧ活性降低将会增加颅内出血风险。同时,CFⅧ与von Willebrand因子(von Willebrand factor,v WF)可形成CFⅧ/v WF复合物,以进一步维持彼此性质的稳定。另一方面,CFⅧ/v WF复合物也可介导血小板的聚集和粘附
日冕物质抛射(CME)会影响近地空间环境,带来地磁扰动,严重时会使卫星失效,电网瘫痪,全球定位系统和通信受到干扰,影响人们的生产生活,因此预报它能否到达地球及何时到达地球
随着移动互联网、位置信息获取等技术的进步和发展,很多带有定位设备的装置(比如车辆、船舶等)产生了大量的移动目标数据。当前,时空数据的轨迹相似性挖掘研究已经成为了数据
黑菜(Brassica campestris ssp.chinensis Makino),又名宝应黑菜、乌菜、核桃乌,是扬州市宝应县地方特色品种,于2012年获得“农产品地理标志”的称号。黑菜(2n=2x=20,x=10)属于十字花科芸薹属白菜种乌塌菜变种。本研究将黑菜经秋水仙素诱变成四倍体,并对其进行鉴定,比较黑菜四倍体和二倍体的农艺性状和营养生理指标,比较不同栽培环境对黑菜农艺性状和营养生理指
随着社会经济的高速发展和城镇改革的迅速推进,城镇交通、公共安全、重点区域的视频监控防范等成为人们关注的重要问题,智能视频分析成为业界研究热点。通过确定相邻视频序列中特定目标的关系来获得目标在整个视频中的完整运动轨迹的技术称为目标跟踪。由于单个摄像头视野范围有限,很难完成对一个运动目标的持续跟踪,尤其对于许多的特殊应用场景,多个摄像头间的信息协作交互需求迫切。近年来,基于深度学习的视频图像处理技术具