基于深度神经网络的模型在语义相似度评估的任务上取得了优异的效果。深度神经网络中的基于句法树的神经网络通过语言内在的句法树树形结构对语言进行建模,建模得到的句子向量表示进一步运用在语义相似度评估网络中进行语义相似度的预测。基于句法树的神经网络相比其他用于建模句子级别的表示的神经网络而言,在建模长距离依赖上更具优势,并且可以利用外部树形结构的标记增强模型的性能,拥有良好的应用前景。然而,已有的用于建模句法树树形结构的神经网络中也存在着一些问题,比如递归神经网络难以建模跨越多层的依赖关系,循环递归网络建模句子整体表示的能力较弱,使用有序元方法建模树形结构时对于外部的树形结构标记无法直接利用等等,这些存在的问题限制了基于句法树的神经网络在语义相似度评估任务中的应用。本文从用于语义相似度评估任务的基于句法树的神经网络中存在的问题入手,对已有的基于句法树的神经网络进行了若干改进,并通过实验验证并分析了本文提出的改进的效果。针对使用递归神经网络建模树形结构的过程中存在的难以建模跨越多层的依赖的问题,本文借鉴了在循环神经网络中用于增强对长距离依赖的建模的门限结构设计,对门限循环网络的结构进行了改造并将其引入递归神经网络中,给出了针对依存关系句法树和成分分析句法树的两种版本的实现:总和门限递归结构和密连接门限递归结构,实验分析表明该方法在语义相似度评估的任务上在拥有良好的预测性能的同时,对比其他基于门限结构来优化跨越多层的依赖建模的模型而言,拥有更高计算效率。针对使用循环递归网络在建模句法树树形结构并用于语义相似度评估的任务的过程中,存在的对句子整体表示建模能力不足的问题,本文借鉴了递归神经网络中对整体表示建模的设计,将递归单元引入循环递归网络中作为其合并单元的实现,并给出了从两个方向对文本进行建模的扩展版本,实验分析表明该方法在语义相似度评估的任务上对于句法树的树形结构拥有出色的建模能力和预测性能。针对使用有序元方法建模树形结构的过程中存在的无法直接利用外部树形结构资源的问题,本文基于门限循环网络对有序元方法进行了更高效的重新设计,并在这个更高效的模型的基础上探索了对海量无标记数据的利用,利用语言模型的无监督预训练增强模型的性能,弥补了有序元方法无法直接利用外部树形结构资源的不足,实验表明该方法在语义相似度评估的任务上可以利用无标记数据上的无监督预训练显著增强模型的性能,分析表明经过预训练的有序元方法可以通过有序元的异步更新进行树形结构的迁移,该方法拥有良好的应用前景。