论文部分内容阅读
构建高质量的句子表示是句子分类获得更好性能的基础。传统基于高维向量的句子表示方法存在数据稀疏问题。近年来,基于深度学习技术构建的句子低维连续向量表示可有效缓解传统方法的问题,但还存在着一些重要的问题。其一,目前的方法只为每个句子学习单个表示,并基于该单表示进行分类。其二,目前的方法大多只利用句子的类别标签,而忽略了句子之间的结构关系。其三,目前的方法大多仅针对句子分类本身来优化表示,而对利用辅助任务促进句子表示学习的研究很少。本文针对上述问题,在现有研究工作的基础上开展面向句子分类的深度表示学习技术研究,主要工作和贡献包括:提出了一个基于差异化自注意的表示学习模型,通过注意力的转移为单个句子生成两份差异化的表示。该模型由一个共享记忆器、两个结构相同但参数不同的自注意子分类器以及一个样本判别器构成。基于提出的差异化损失函数,模型在训练的过程中可以使两个自注意子分类器分别关注句子不同部位的关键信息,从而基于两份有差异的句子表示分别进行分类。然后由样本判别器选择其中能获得最佳分类性能的预测结果。四个公开数据集以及一个本文提出的数据集上的实验结果均表明,相比于已有的基于自注意的分类模型以及基于组合语义的分类模型,本文提出的模型具有更优的句子分类性能,并能捕获句子中不同的重要信息。提出了一种基于距离约束的多样本表示学习方法,融合了样本间的结构关系进行句子表示学习。提出绝对和相对两种距离度量损失函数来约束表示空间中的句子结构关系,即在表示空间中:类间的句子距离更远,使得不同类别的句子之间具有更大的间隔;而类内的句子形成聚类结构,使得即使类别相同的句子也保持合理的类内差异。两种距离度量损失函数均能直接结合到现有的基于Softmax分类器的深度表示学习模型中,与分类损失函数一起优化句子的表示。四个公开数据集上的实验结果均表明,该方法能稳定地提升常见的多种Softmax分类模型的分类正确率,并能捕获到句子样本空间中的聚类结构。提出了一组基于层次长短期记忆网络的联合表示学习模型,联合建模句子分类任务以及其他相关联的辅助任务。该组模型均由一个双层的长短期记忆网络构成,上层的长短期记忆网络用于句子分类,底层的长短期记忆网络用于辅助的序列标注任务。在训练优化时,句子的表示学习过程同时被两个任务的标签信息所监督。两种监督信息由一个超参数来平衡。两个公开的意图识别及槽填充联合任务数据集上的实验结果均表明,该组模型能充分地利用辅助任务提供的信息,提升了句子分类的正确率。设计并实现了一个基于深度表示学习方法的句子情感极性分类演示系统。基于上述差异化自注意的表示学习方法以及距离约束的多样本表示学习方法,该系统具备两个功能:1)对于输入句子,返回分类模型给出的情感分析结果;2)利用丰富的可视化展示分类模型内部处理过程产生的一些中间结果。