基于Markov随机游走的渐进式半监督文本分类研究

来源 :江西师范大学 | 被引量 : 0次 | 上传用户:11-Jun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术以及数据存储技术的迅猛发展,科学研究以及社会生活等领域都积累了大量的数据,对这些数据进行分析和挖掘得到其所蕴含的有用信息,成为几乎所有领域的共同需求。传统的机器学习方法通常只利用有标签数据或者只利用未标记数据,而在实际问题中往往是两者并存,如何有效利用这些数据成为几乎所有领域关注的问题。作为能有效解决这个问题的关键技术,半监督学习引起了机器学习和数据挖掘界的高度重视。根据学习目的的不同半监督学习大致可以分为半监督分类和半监督聚类。其主要思想是在已标记训练数据集较少的情况下,如何结合大量的未标记数据来改善学习性能,本文中探讨的是半监督分类。基于Markov的随机游走算法,可用概率的形式表示低维数据的结构信息,同时具有非常强大的学习功能,因而被广泛地应用于半监督学习问题中。本文首先提出了一种基于Markov随机游走的半监督文本分类模型(简称为SMRW),该模型对传统的基于Markov随机游走的分类模型进行了改进。在随机游走过程中,计算待标注数据到各类的迁移概率时,只考虑相应类别样本的影响,而忽略其他类别样本对随机过程的影响,同时利用衰减函数来约束不同游走步数对迁移概率的影响,并在20newsgroups数据集上进行了实验,实验结果表明,该模型具有较好的分类性能。本文提出了一种基于Markov随机游走的渐进式半监督分类模型,在初始阶段已标记训练样本较少时,训练得到的分类器性能不高。且在Markov随机游走迭代过程中,样本的错分引起的误差,会在后续的迭代中不断被放大,从而影响模型的准确性。针对此问题提出了一个基于Markov随机游走的渐进式半监督文本分类模型(简称为PSMRW),即在半监督分类模型中引入了渐进学习的思想,试图“纠正”半监督学习迭代过程中产生的“错误”,,从而提高模型的预测精度的目的。在20newsgroup数据集上的实验结果表明,所提出的方法能够提高半监督分类的精度。
其他文献
近些年来,在多媒体技术和互联网技术飞速发展的带动下,使得多媒体内容的表征、传播、拷贝变得越来越便捷,因此多媒体内容的版权保护已经成为人们亟需解决的问题。基于内容的图像
当今,在常用来诊断家畜寄生虫病的一些方法中,最为直接的、普遍采取的实验方法之一仍然是虫卵计数的方法。在诊断家畜常见寄生虫病的过程中,通常是在光学显微镜下利用人工来
自然界中到处都存在着对称性,对于具有对称性的信息,在存储时可根据它的特征进行压缩存储。比如,如果平面图形在二维坐标系中是对称的,则可以只存储一半(不考虑对角线)的信息就可以
互联网发展至今,网络上的数据呈指数级增长,如何能够更准确的给用户提供所需的信息成为信息检索领域研究的热点问题之一。传统的信息检索系统主要是通过简单的计算查询词跟文档
随着现代移动通信的蓬勃发展,频带利用率与通信质量成为目前该领域两个突出的问题。寻找低速率、高质量和低成本的语音声码器成为解决这些问题的有效途径。码激励线性预测编码
随着加工制造产业的快速发展,三维模型部件被大量使用,这使CAD模型检索技术得到了广泛地应用。在加工设计过程中,如何高效地从模型库中检索和复用CAD模型是一个关键问题。目
遗传算法(Genetic Algorithm,简称GA)是美国学者Pr.John Holland和他的学生对自然界中生物系统进行的计算机模拟研究。它是由美国Michigan大学的Pr.John Holland于1975年首先
在现在的网络应用中,P2P技术已经非常普及,随之而来的各种安全问题也日益凸显,因此对P2P的安全性提出了新的要求。由此可知,开展在当前环境下的P2P安全性研究具有重要的意义和价
在网络技术快速发展的今天,基于P2P技术的流媒体业务发展迅猛,人们对互联网上各种流媒体应用需求越来越多、应用越来越广泛,流媒体应用已经成为当前互联网主流应用之一。随着
视频监控技术是近二十几年发展起来的一门新兴技术,广泛地应用于军事、交通和医疗等安全监控领域。目前,具有实用化的视频监控技术主要采用的是单一的数据采集设备。单一数据