论文部分内容阅读
随着互联网技术以及数据存储技术的迅猛发展,科学研究以及社会生活等领域都积累了大量的数据,对这些数据进行分析和挖掘得到其所蕴含的有用信息,成为几乎所有领域的共同需求。传统的机器学习方法通常只利用有标签数据或者只利用未标记数据,而在实际问题中往往是两者并存,如何有效利用这些数据成为几乎所有领域关注的问题。作为能有效解决这个问题的关键技术,半监督学习引起了机器学习和数据挖掘界的高度重视。根据学习目的的不同半监督学习大致可以分为半监督分类和半监督聚类。其主要思想是在已标记训练数据集较少的情况下,如何结合大量的未标记数据来改善学习性能,本文中探讨的是半监督分类。基于Markov的随机游走算法,可用概率的形式表示低维数据的结构信息,同时具有非常强大的学习功能,因而被广泛地应用于半监督学习问题中。本文首先提出了一种基于Markov随机游走的半监督文本分类模型(简称为SMRW),该模型对传统的基于Markov随机游走的分类模型进行了改进。在随机游走过程中,计算待标注数据到各类的迁移概率时,只考虑相应类别样本的影响,而忽略其他类别样本对随机过程的影响,同时利用衰减函数来约束不同游走步数对迁移概率的影响,并在20newsgroups数据集上进行了实验,实验结果表明,该模型具有较好的分类性能。本文提出了一种基于Markov随机游走的渐进式半监督分类模型,在初始阶段已标记训练样本较少时,训练得到的分类器性能不高。且在Markov随机游走迭代过程中,样本的错分引起的误差,会在后续的迭代中不断被放大,从而影响模型的准确性。针对此问题提出了一个基于Markov随机游走的渐进式半监督文本分类模型(简称为PSMRW),即在半监督分类模型中引入了渐进学习的思想,试图“纠正”半监督学习迭代过程中产生的“错误”,,从而提高模型的预测精度的目的。在20newsgroup数据集上的实验结果表明,所提出的方法能够提高半监督分类的精度。