自然语言处理是人工智能的重要子学科。作为自动处理文本的第一步，将词转换为数值化表示很大程度地影响了自然语言处理的性能。词向量为自然语言的最小语义单元—词提供了包含句法语义信息的稠密向量表示。作为基于神经网络的自然语言处理的基础，依据词义分布假设构造的词向量给诸多自然语言处理模型带来了性能的提升。为了提高词向量的学习效率，前人工作进一步对词向量进行静态假设，即一个词有唯一的向量表示。这一假设使得在大规模数据上学习词向量成为可能，但也使静态词向量无法根据上下文环境决定其表示，因而无法建模‘‘一词多义’’等现象。动态上下文相关词向量是近年来提出的一种词向量算法。这种算法取消了静态假设并根据上下文动态地决定一个词的向量表示。在包括问答、文本蕴含、情感分析在内的多项任务中，使用上下文相关词向量的模型均取得了当前最优的性能。
　　很多自然语言处理任务依赖包括分词、词性标注、命名实体识别、句法分析在内的句子级语言分析。优化语言分析有助于提高自然语言处理的性能。近年来，基于神经网络的语言分析算法在静态词向量的帮助下取得了较大的性能提升。但上下文相关词向量对语言分析的作用仍有待探索。
　　基于上下文相关词向量与句子级语言分析技术的进展，本文围绕两者的结合开展一系列的研究，本文研究主要包括以下几方面：
　　1.面向语言分析的上下文相关词向量：针对现有上下文相关词向量使用多层网络对一整句甚至多句进行建模而导致的效率问题，本文从语言分析主要依赖局部信息的角度出发，提出一种融合相对位置权重的窗口级自注意力机制并将其应用于上下文表示，从而获得一种适用于语言分析的上下文相关词向量。五项词法句法任务的实验结果表明，由于使用局部模型替代全局模型，本文提出的上下文相关词向量在不损失精度的情况下获得了三倍的速度提升。
　　2.基于上下文相关词向量的词法分析模型：针对词法分析中的切分问题（中文分词与命名实体识别）对合理的片段（词与实体）表示的依赖，本文在上下文相关词向量的基础上提出一种基于简单拼接的片段表示方法并将其应用于半-马尔科夫条件随机场中。典型切分问题的实验结果显示本文提出的片段表示有效地提高了模型性能。通过进一步融合任务相关的上下文表示以及建模片段级信息的片段向量，本文模型取得与当前最优模型相近的性能。
　　3.基于上下文相关词向量的句法分析模型：针对上下文相关词向量对多国语句法分析作用尚无明确结论的现状，本文提出在多国语句法分析中使用上下文相关词向量并在大规模树库上验证其有效性。本文在获得显著的性能提升的基础上对提升的原因进行了详细的分析。实验结果表明，性能提升的主要原因是上下文相关词向量通过对于未登录词词形的更好的建模有效地提升了未登录词的准确率。
　　4.基于知识蒸馏的句法分析加速方法：针对使用上下文相关词向量的句法分析参数过多、运行速度较慢的问题，本文提出一种结合探索机制的知识蒸馏算法，将基于上下文相关词向量的复杂模型蒸馏到不使用相应词向量的简单模型中，从而在不显著降低性能的情况下提高句法分析速度。实验结果表明，本文提出的方法在损失少量句法分析准确率的情况下，近十倍地提升了速度。
　　总的来说，本文研究了动态上下文相关词向量及其在句子级语言分析中的应用。上下文相关词向量显著地提高了语言分析的性能，同时语言分析也为上下文相关词向量提供了新的理解。本文研究可以使语言分析技术更好地服务其他自然语言处理任务，从而推进整个领域的发展。