论文部分内容阅读
文本匹配是指从语义或意图层面衡量两个文本的相似程度。文本匹配任务属于自然语言处理的基础性研究,其效果对文本蕴涵、自动问答、信息检索等诸多下游任务具有重要影响。传统的文本匹配方法通常依赖于文本的字面特征以及人工定义的规则衡量文本是否匹配,忽视了文本间的深层次语义匹配特征。与传统文本匹配方法相比,深度学习方法能够有效捕获文本的深层次语义特征,具有良好的模型泛化能力,在文本匹配任务上具有出色的表现。文本语义特征表示是文本匹配任务的一项核心工作,本文着眼于不同文本粒度对语义特征表示的影响,通过整合不同粒度的语义特征来优化文本语义特征表示,从而改善文本匹配效果。本文的贡献主要体现在以下三个方面:
(1)单一的序列编码模型难以全面地捕获文本语义特征信息,容易出现语义特征缺失现象,进而影响文本匹配效果。为了解决这一问题,本文提出了一种基于单语义特征融合的文本匹配方法。单语义指从单个文本粒度层面上,捕获文本语义特征。该方法集成多个序列编码的单语义特征表示,而不同的序列编码可以从不同角度捕获文本语义特征,能够一定程度上缓解语义特征缺失现象。此外,本文提出了一种新的基于置信区间的损失函数,改善模型在难以正确区分的实例上的分类效果。实验结果表明,该方法能够捕获更加丰富的语义特征,能够有效提升文本匹配效果。
(2)尽管上述(1)中单语义特征融合的方法可以通过集成多个序列编码的语义特征表示来缓解语义特征缺失问题,但是它无法同时捕获文本不同粒度的语义特征,对文本语义特征的获取仍不全面。为了解决这一问题,本文提出了一种基于多语义特征融合的文本匹配方法。多语义指从多个文本粒度层面上,捕获文本语义特征。通过对多个粒度文本语义特征的综合考虑,本文模型可以同时获取不同粒度的语义特征,能够进一步缓解语义特征缺失现象。此外,本文设计了一种新的损失函数,利用均方误差作为平衡因子以优化交叉熵损失函数。实验结果表明,该方法能够显著改善文本匹配效果。
(3)尽管上述(2)中多语义特征融合的方法能够整合文本多粒度语义特征,但是它没有考虑不同粒度间的文本语义特征表示的交互。为了弥补这一问题,本文提出了一种基于多语义特征交互的文本匹配方法。该方法不仅可以捕获文本多粒度语义特征,并且可以深入挖掘多粒度间语义特征表示的交互,可以进一步缓解语义特征缺失现象,有效提升文本匹配的性能。实验结果表明,该方法能够取得与BERT可比的效果,但相应的模型参数量远远少于BERT。
(1)单一的序列编码模型难以全面地捕获文本语义特征信息,容易出现语义特征缺失现象,进而影响文本匹配效果。为了解决这一问题,本文提出了一种基于单语义特征融合的文本匹配方法。单语义指从单个文本粒度层面上,捕获文本语义特征。该方法集成多个序列编码的单语义特征表示,而不同的序列编码可以从不同角度捕获文本语义特征,能够一定程度上缓解语义特征缺失现象。此外,本文提出了一种新的基于置信区间的损失函数,改善模型在难以正确区分的实例上的分类效果。实验结果表明,该方法能够捕获更加丰富的语义特征,能够有效提升文本匹配效果。
(2)尽管上述(1)中单语义特征融合的方法可以通过集成多个序列编码的语义特征表示来缓解语义特征缺失问题,但是它无法同时捕获文本不同粒度的语义特征,对文本语义特征的获取仍不全面。为了解决这一问题,本文提出了一种基于多语义特征融合的文本匹配方法。多语义指从多个文本粒度层面上,捕获文本语义特征。通过对多个粒度文本语义特征的综合考虑,本文模型可以同时获取不同粒度的语义特征,能够进一步缓解语义特征缺失现象。此外,本文设计了一种新的损失函数,利用均方误差作为平衡因子以优化交叉熵损失函数。实验结果表明,该方法能够显著改善文本匹配效果。
(3)尽管上述(2)中多语义特征融合的方法能够整合文本多粒度语义特征,但是它没有考虑不同粒度间的文本语义特征表示的交互。为了弥补这一问题,本文提出了一种基于多语义特征交互的文本匹配方法。该方法不仅可以捕获文本多粒度语义特征,并且可以深入挖掘多粒度间语义特征表示的交互,可以进一步缓解语义特征缺失现象,有效提升文本匹配的性能。实验结果表明,该方法能够取得与BERT可比的效果,但相应的模型参数量远远少于BERT。