近年来深度学习的技术在NLP(natural language processing)领域有着巨大的发展。很多重要的NLP任务应用相关技术取得了很大的突破,如语言模型、机器翻译、QA(Question Answering)、中文分词等。相较于传统的浅层学习如逻辑回归、SVM(Support Vector Machine)等,深度学习模型拥有更强的表示能力。之所以深度学习技术在NLP领域有着快速的发展,与分布表示方法的发展成熟有密不可分的关系。词和句子是自然语言的基础单位,很多NLP的重要任务事实上都可以分解为词级别的任务或者是句子级别的任务。因此,好的词级别的分布表示和句子级别的分布表示对简化模型和提升任务效果都能起到关键的作用。词级别的分布表示研究近两年来有大量优秀的工作,现在的词向量技术在基础化,工具化,可迁移性等方面都表现良好。与之相对的,句子级别的分布表示研究还相对集中在有监督学习的领域,以及针对具体任务的建模。虽然针对具体任务设计的模型,能够取得很好的效果,但是在迁移性上不够完善。用无监督学习的方式得到句子的分布表示,并迁移到各个具体任务中去因而成为了一个重要而有意义的研究问题。本文中,作者主要的研究问题是通过无监督学习的方法,应用深度学习相关技术得到句子的分布表示,并将之应用在具体的句子级别分类任务,如情感分析和关系分类中,同时,针对具体的任务本身,研究句子分布表示与有监督的方法相结合以提升任务表现的方法。基于上述问题,本文的进行的研究工作和取得的成果如下:1.提出一种有监督的卷积—循环神经网络(convolutional-recurrent neural networks)的组合模型,在现有的多窗口卷积网络中引入双向循环网络层,来自适应的提取变长的模式,在MR、SST-1、SST-2等公开情感分析数据集上取得了较之前最优结果最多7%的准确率的提升。2.基于无监督的自编码器(auto-encoder)技术,设计了基于卷积神经网络、循环神经网络和卷积—循环神经网络的自编码器模型。实现了从词向量序列到句子分布表示的无监督建模。将得到的句子分布表示应用到句子分类任务中,在1中所述任务中取得了不弱于端到端有监督模型的效果。3.将上述有监督的模型和无监督模型进行结合,提出了一种自动卷积—循环神经网络(auto-convolutional-recurrent neural networks)的半监督模型,有效防止了有监督模型存在的过拟合现象,在1中所述结果上,进一步取得了1%～2%的提升。