随着互联网上电子文档数量的爆炸式增长,如何有效地理解和挖掘这些电子文档的隐含语意,已经成为机器学习、自然语言处理等领域的热点问题。潜在狄利克雷分布(Latent Dirichlet Allocation,LDA)定义每篇文档由所有主题混合而成,其中主题定义为词典上特异的概率分布,混合比例θ可作为文档在主题空间的特征表示。监督主题模型利用文档监督信息,同时对文档词语和标签建模,能够获得更有预测能力的文档主题低秩表示。本文对主题模型及其应用展开深入研究,主要贡献如下:(1)本文提出一种结合深度学习的监督主题模型(DL-sLDA)框架,利用深度网络强大的非线性拟合能力建立文档主题分布与标签之间的映射关系,通过改变网络结构和激活函数的类型,DL-sLDA可用于分类和回归任务。在无监督主题模型的基础上,DL-sLDA在模型生成假设中加入描述文档主题分布与标签映射关系的步骤,使之能够同时对文档词语与标签建模;对于模型参数的求解,本文提出一种基于平均场理论(Mean Field Theory)的变分期望最大化(EM)结合深度网络训练的方法共同完成贝叶斯框架下模型参数的近似。实验表明:DL-sLDA既保持了无监督主题模型隐含主题的提取能力,在预测实验中也取得了超过目前流行的监督主题模型框架的效果;与其他流行的非主题模型的文本分类模型(如DAN)相比,DLsLDA取得了可以与之相比较的结果,而DL-sLDA的优势在于能够发现隐含的主题信息,具有可解释性。(2)本文提出一种结合LDA主题模型和词向量模型word2vec的文本特征提取方法。LDA定义了一个全局的从关键词到主题,从主题到文档的层次关系,从而能够提取文本的高层(high level)主题特征;word2vec是一种常用的词向量方法,通过两层神经网络学习当前词语与周围词语之间的关联,训练完成的隐藏层即为词向量。较LDA,word2vec能够学习到比较精细的词语语义与语法一级的低层(low level)特征。本文提出一种融合高层的主题特征与低层的词向量特征的方法以构建更好的文档表示,分类实验表明本文所提方法优于单独使用词向量或主题信息的特征表示。