论文部分内容阅读
在面对新领域对话时,基于深度学习的任务型对话系统往往需要涵盖所有可能对话流程的大量标注对话。然而,正确的对话标注因为购买成本昂贵、时间周期过长、规范性问题等非常具有挑战性。因此,面对的对话任务发生变化时,如何以较少的代价、快速准确地将对应模型推广到标注数据较少的新领域中,减轻对领域内标注数据的依赖,是在实际使用中非常值得探索的事情。本文针对语义解析和对话状态追踪,研究新领域标记数据有限场景下的适应策略,分别从利用本领域未标记数据和领域迁移两个不同角度出发提出了解决方案。针对语义解析中规范语义表示具有多样性、专业性、迁移性差的特点,本文将利用相对容易获得的、未标记的本领域自然语言话语提升序列到序列框架下语义解析的效果,使模型在新领域标注数据较少的情况下,仍然可以展现较好的性能。本文在多任务学习框架下设计了一种半监督语义解析方法,提出了两种策略,首先将实体词典学习作为辅助任务并增强编码器表示,从而缓解实体信息的缺失和不匹配情况;同时修改了 Mean Teacher框架扩展至序列建模任务上生成更多目标端数据,提高了解码器的泛化能力。实验表明,这种方法明显优于监督的基准,并且比之前提出的半监督语义解析方法有显著提高。针对对话状态可读性和通用性较强的特点,本文从提升领域迁移能力角度,使对话状态追踪模型可以准确地估计不同领域之间的对话状态,拓展迁移到没有标注数据或者标注数据很少的新对话领域上。本文借助XLNet处理长文优势,对对话历史和槽位语义之间的依赖关系进行编码,同时将机器阅读理解分别以不同方式拓展到分类型插槽、复制型插槽。经过实验,该算法可以在零样本新领域取得和仅使用本领域数据训练相比具有竞争力的结果。