口语理解是对话系统中的重要组成部分,负责将用户输入的文字信息转换成计算机所能理解的结构化语义信息。在本研究中,主要围绕对话行为识别、意图理解和槽填充三个子任务展开,以双注意力机制为基础解决目前子任务中存在的问题。双注意力机制主要包括两个注意力编码分支结构,通过对双分支进行联合训练获取额外的句子特征,能够有效利用和交换双分支结构中特征信息,提高模型鲁棒性。首先,对话行为识别任务中数据不平衡问题比较突出,容易造成模型整体效果较好但单类准确率较差的现象。本文针对类不平衡问题,提出了一种基于双注意力机制的分支结构。首先通过语言学的先验知识对行为类别进行二次分类,将原有标签分为一级和最终标签,以一级标签为区分的数据集分布更加地均匀。同时,模型是由两个分支子模型构成,左分支和右分支分别用于预测一级标签与最终标签。双注意力机制可以促使模型产生全局正则化作用,有助于LSTM编码器模型抓取少数对话类型的通用特征,使句子特征表达更加全面,提升少数类的预测准确率。其次,在意图理解和槽填充领域,基于单数据库所建立的模型无法处理跨领域对话中说话者的意图,模型的鲁棒性也较差。因此,本文以双注意力机制为基础结合了多个数据库,并采用对抗训练的方式对跨领域模型进行训练。在本文所提的模型中,不同的注意力分支分别对应着其私有特征空间,该空间内包含其数据库独有的特征,而双分支之间的共享注意力层对应着共享特征空间,包含着所有数据库的通用特征。通过对共享注意力层进行对抗训练,减少共享特征的冗余,避免私有特征对共享空间的干扰,使得该空间中的特征都是通用且共享的。本研究分别在中文语料库CASIA-CASSIL以及ATIS、Snips、MIT等英文数据库上进行实验。实验结果表明,采用双注意力机制的模型可以分别提升不同任务的模型在数据不平衡情况下以及在跨领域对话中的准确率和鲁棒性。同时,实验证明自注意力层能有效捕捉句子中单词之间的依赖关系,并从不同模型分支中分别学到位置权重,对模型效果起着促进作用。