【摘 要】
:
近年来,随着人工智能技术大幅度的发展,人工智能技术已经被应用到了各个领域,其中就包括任务型对话系统。任务型对话系统为人们的日常生活带来了便利,如现在很多电商平台都使用智能客服帮助用户解决各种问题。但随着任务场景覆盖面越来越广,任务型对话系统也面临着越来越多的挑战。对话语言理解模块是任务型对话系统中最为重要的组成部分,因此对于对话语言理解任务的研究是提升任务型对话系统效果的关键。目前的对话语言理解任
论文部分内容阅读
近年来,随着人工智能技术大幅度的发展,人工智能技术已经被应用到了各个领域,其中就包括任务型对话系统。任务型对话系统为人们的日常生活带来了便利,如现在很多电商平台都使用智能客服帮助用户解决各种问题。但随着任务场景覆盖面越来越广,任务型对话系统也面临着越来越多的挑战。对话语言理解模块是任务型对话系统中最为重要的组成部分,因此对于对话语言理解任务的研究是提升任务型对话系统效果的关键。目前的对话语言理解任务中主要存在如下挑战:1)在新领域、新需求出现的初期,标注数据非常匮乏,且不同领域下的意图种类及数量不同,训练好的模型不能有效地迁移到不同意图种类及数量的领域中。如何通过少量样本使得对话语言理解模块快速识别新领域下的意图成为现在任务型对话系统的一个挑战。2)意图识别和槽位提取为对话语言理解的两个子任务。对于对话语言理解任务,不仅要尽可能的提升两个子任务的效果,更重要的是提升对话语言理解任务的整体效果,即保证意图识别和槽位提取两个任务的结果同时正确。两个子任务之间存在着一定的联系,而如何通过构建子任务之间更有效的显式关系来提升模型的整体效果,成为现在对话语言理解任务的一个挑战。为了解决上述的问题,展开如下研究:1)基于小样本学习的意图识别模型的设计与构建。小样本学习最早应用于图像识别,并在图像识别领域中取得一定的成功,因此要解决标注数据匮乏等问题,可以借助小样本学习。基于已有的研究,构建了基于改进原型网络的小样本意图识别模型(Improved Prototypical Networks Model for Few-shot Intent Detection,IPNM-FID)来解决跨领域对话语句的小样本意图识别任务。该模型以原型网络作为模型基础,首先使用基于变换器的双向编码器表示技术(Bidirectional Encoder Representations from Transformers,BERT)加上双向门控循环单元(Bi-directional Gate Recurrent Unit,Bi-GRU)作为文本编码层。然后使用卷积神经网络(Convolutional Neural Network,CNN)对通过支持集构建的原型进行修正。再与查询样本进行文本相似度计算,最终输出查询样本的类别。之后通过两个实验验证了IPNM-FID模型的效果。在对比实验中,实验结果表明IPNM-FID模型同时在准确度和1分数上均优于其他模型。消融实验则展示了Bi-GRU及CNN的有效性。2)基于小样本学习的对话语言理解联合模型的设计与构建。为了建立小样本意图识别任务和小样本槽位提取任务之间的显式关系,从而提升对话语言理解任务的整体效果,构建了基于信息增强的小样本对话语言理解联合模型(Information Augmentation Model for Few-shot Spoken Language Understanding,IAM-FSLU)。它使用基于BERT的文本编码层作为小样本意图识别模型和小样本槽位提取模型的共同输入。然后将槽位提取模型的结果作为信息增强因子加入到意图识别模型的输入中,从而建立两个任务间的显式关系。最后将两个任务的损失相加共同训练进行联合建模。之后,通过在不同的小样本设置的对比实验下验证IAM-FSLU模型的效果,在实验中,结果表明IAM-FSLU模型在模型整体效果上均优于其它主流模型。我们所提出的IPNM-FID模型和IAM-FSLU模型,很好地解决了在新领域中数据匮乏,和跨领域下的意图种类及数量不同时,模型适用性差的问题;同时构建了一种更有效的小样本意图识别和小样本槽位提取两个任务间的显式关系,提升了对话语言理解模型的整体效果。
其他文献
刑法学界普遍认为,有效的被害人承诺具有阻却犯罪成立的效力,承诺的真实自愿是被害人承诺有效的重要条件之一。被害人受骗承诺是否有效、在何种条件下有效,始终存在较大争议。本文首先对被害人承诺与被害人受骗承诺的基本内涵进行阐释,对相关概念进行厘清,明确在我国犯罪构成体系下,无需将承诺区分为“合意”和“承诺”,得有效承诺的行为因不具有法益侵害性而不属于危害行为。有效的被害人承诺要求出于被害人真实自由的意志,
改革开放以来民营企业快速发展的同时,也面临着资金短缺的问题,金融机构更加倾向于根基稳固的大企业,中小民营企业面临着正规金融资金供给难的问题,使其不得不转向民间金融市场寻求社会闲置资金的进入,而民间闲置资金也在寻求获利途径,二者通过民间融资行为各取所需。近些年来在司法实践中法院受理的非法吸收公众存款罪的案件数量迅速上升,从案件涉及面和涉及金额来看,提升对非法吸收公众存款罪的打击力度势在必行,但同时也
刑事合规是企业合规在刑事法领域的具化表现,自上世纪九十年代以来,刑事合规在国际范围内获得了迅猛发展,成为预防企业犯罪的主要措施。无论是承认企业法人犯罪的英美法系国家,抑或是不认可企业法人犯罪主体资格的传统大陆法系国家,无不积极探索如何在国家刑事层面上以刑事责任的有无、轻重来激励企业合规建设。国际合规发展趋势的外部推动之余,国内企业犯罪治理的相对疲软也呼吁新的规制手段入场。刑事合规的具体内涵,可以界
如何准确定性轻微暴力致死行为是目前刑法理论和司法实践中存在的问题,此类案件争议焦点聚焦于罪与非罪,此罪与彼罪的区分上。轻微暴力致死案件一般由陌生人、家庭、邻里之间的琐事引起,双方当事人由单纯口角纠纷逐渐升级为肢体冲突,因存在最终造成一方死亡的严重后果。我国刑法对于轻微暴力并没有明确规定,在具体案件中如何判断因果关系和被告人主观方面也存在着理论分歧,被害人特殊体质案件中对被害人属于特殊体质的范畴见解
通过对合同诈骗罪的判决文书进行分析,不难看出本罪难以判定的主要原因在于非法占有目的的认定上,因此有必要对其进行深入研究。在进行分析后,可以发现导致该罪中非法占有目的认定困难的主要原因在于其法律地位及含义不明确、产生时间存在争议、认定标准不统一。在法律地位上,合同诈骗罪中非法占有目的独立于犯罪故意之外属于主观的超过要素。其含义也不同于传统的对整个取得型财产犯罪中非法占有目的的理解,不需要通过赋予其“
现代社会“高空抛物”事件频发,由于其具有不可预测性、后果严重性等特征,严重扰乱了社会生活的安宁,为了更好的实现刑法的安全保障功能,《刑法修正案(十一)》中单独设立高空抛物罪,这是总体国家安全观下积极预防犯罪的表现。通过刑事处罚的严厉性倒逼个人行为规范化,在犯罪圈扩大化的同时也存在对自由的过度介入,适用不当会造成人权风险。为了正确适用高空抛物罪,合理保护高空抛物罪的法益,避免刑法处罚范围的不当扩大造
人脸检测和识别系统被广泛应用于交通、门禁等各种生活场景。随着新冠疫情的爆发,在公共场所佩戴口罩成为了各国防疫的一项重要措施。然而口罩会遮挡较大的人脸区域,使人脸检测和识别算法难以捕捉到足够的人脸信息,从而导致算法识别准确率下降乃至无法正常工作。通用人脸检测算法针对的是常见场景,在特殊场景下往往需要针对特定的问题对算法进行调整。目前针对口罩遮挡场景的人脸检测研究较少,而现有人脸检测算法在口罩遮挡场景
近年快速发展的工业化和城市化加剧了城市的空气污染问题,包括雾霾在内的空气污染公害越来越频繁,大气颗粒物引起了更多的关注,其携带着大量有毒和危险化学物质,并在空气中进行长久、大范围的扩散转移,对人类生命健康和空气质量有着显著的影响,大气颗粒物所含的对生态环境和人体健康有害的重金属成分也成为研究重点。面对实际环境问题和潜在受体人群呼吸暴露现状特征,开展青山区大气颗粒物的健康风险研究,对解析雾霾造成的健
微塑料广泛存在于土壤环境中,在世界范围内受到越来越多的关注,我国不同地域土壤中也检出微塑料。同时,农业土壤重金属污染已成为全球普遍存在的环境问题。镉(Cd)作为土壤中毒性最大的微量元素之一,很容易被作物吸收并转移到地上部位,然后通过食物链对人类健康构成严重威胁。重金属进入土壤后,或在土壤溶液中以离子状态存在,或通过吸附、沉淀、络合等方式在土壤矿物、有机质、微生物及其相关络合物的表面被固定。这一老化
群智感知是将众包思想和移动设备感知能力相结合的一种新的数据获取模式,可以完成大规模且复杂的感知数据收集任务。在实际应用中,由于种种原因,参与群智感知任务的用户可能无法向服务器提供真实准确的感知数据。错误数据的提交会导致数据冲突。真值发现方法的提出是为了从数据冲突中得到真实数据(即真值)。目前真值发现机制已经被广泛应用于群智感知系统以提高数据聚合的准确性。同时,在某些群智感知应用中,感知数据涉及到用