社交媒体的不断发展使其逐渐成为互联网用户发表观点和意见的主要平台。每天有大量活跃的互联网用户发布数量巨大的承载用户信息的微博、推特等短文本,其中蕴含丰富的反应社会舆论、社会热点和用户兴趣等有价值的信息。因而,面向这些海量短文本内容的语义分析和信息抽取具有重要的研究意义和应用价值。主题模型作为一种无监督的表达学习方法被广泛用于文本分析中。无需标注信息,该方法能有效地从原始文本数据中学习文档层面的潜在低维特征表示和文本所表达的主题。然而,该类方法对于短文本却并不适用。社交媒体中的海量短文本,通常具有传播广泛迅速、噪音多、数据量大、文本长度短等特征。上述特征导致短文本中文档层面的词共现信息异常稀疏,因而不可避免地导致了该类方法在其中的应用效果不佳。为了解决该问题,稀疏主题模型在传统主题模型的基础上引入稀疏假设（即每篇文档只和少量主题相关,每个主题也只和少量词相关）,使模型学习到语义更加分明和清晰的潜在表达,从而能在一定程度上缓解短文本共现信息稀疏的问题。目前基于该假设的方法主要有两类:（1）其中一种方法侧重在LDA等概率主题模型中引入稀疏先验或辅助变量以间接控制学习到的潜在表达的稀疏性。（2）另一种方法关注于在非概率主题模型中引入稀疏正则化约束,用于直接控制潜在表达的稀疏性。相对于常规概率和非概率主题模型,这两种方法都能学习到更加具有语义解释性的文本表达和主题。然而,在稀疏建模和模型求解方面,这些方法的建模过程仍然存在一系列挑战:（1）不完全的稀疏潜在表达学习。已有的稀疏主题模型通常只能学习到文档、主题和词中某一两个层面的稀疏表达,无法有效获取在文档、主题和词所有层面的稀疏潜在表示;（2）不准确的稀疏结构建模。已有的稀疏主题模型的稀疏机制无法捕获稀疏表达之间的相关性和短文本中复杂的稀疏结构;（3）较差的模型扩展性。由于层次化生成过程,传统概率和非概率主题模型扩展性往往有限。一旦需要实现新的功能,这些模型需要在生成过程中引入新的额外变量和重新推导求解算法,严重降低了模型的泛化能力;（4）有限的语义表示能力。由于其浅层的概率和非概率建模,和深度模型相比,传统主题模型的语义表示能力及其有限,学习到的表示和主题往往语义连贯性不强。为了解决上述挑战,本文将稀疏正则化、稀疏贝叶斯学习、词嵌入、神经网络、神经变分推断和神经语言模型等技术与主题模型相结合,提出了一系列面向短文本的稀疏主题建模方法。具体来说,本文的工作可以分为以下四部分:（1）为了解决不完全稀疏表达学习问题,本文提出了一种非概率稀疏主题模型（Sparse Topical Coding with Sparse Groups,STCSG）。该模型使用sparse group lasso正则化约束直接控制文档、主题和词层面表示的稀疏程度。此外,本文基于交替方向乘子法（Alternating Direction Method of Multipliers,ADMM）提出了高效的求解方法用于求解该模型的非凸优化学习问题;（2）为了解决不准确稀疏结构建模问题,本文提出了一种新的贝叶斯层次主题模型（Bayesian Sparse Topical Coding,BSTC）。该模型使用层次拉普拉斯和NormalJeffrey层次稀疏先验有效约束文档、主题和词层面的稀疏度,能自动利用稀疏表示之间的语义相关性改善文本表示的学习,并能被期望最大化和变分推断算法有效推导求解;（3）为了解决模型扩展性差的问题,本文结合深度学习技术,提出了一种新的神经主题模型（Neural Sparse Topical Coding,NSTC）和它的一系列稀疏扩展模型。该模型使用神经网络建模传统稀疏主题模型的生产过程以简化其复杂的推断过程和提高扩展性。此外,该模型在生成过程中引入基于词嵌入的语义相关性信息约束主题的生成,以进一步改进表示学习的语义相关性和连贯性;（4）为了解决语义表示能力有限的问题,本文结合神经变分推断和神经语言模型,提出了语义强化神经稀疏主题模型（Semantic Reinforcement Neural Sparse Topic Model,SR-NSTM）和它的有监督扩展模型。在该方法使用神经变分推断技术提高主题模型的扩展性,使用拉普拉斯先验分布约束潜在表达的稀疏性,并使用双向LSTM神经网络编码文档层面的表达实现语义强化,进一步改进主题模型的表达学习。本文的方法在基准数据集上的结果表明,本文的方法比以往先进方法在短文本表示学习和语义抽取上更加有效。