基于关联分类算法的PU学习研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:zhouyang340345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在用户推荐、文本分类、图像分类等实际应用场景中,往往只存在少量的某类别的已标记样本和大量未标记样本,并希望根据某类别的已标记样本,从未标记样本中识别出与已标记样本同类别的样本。显然,由于未标记样本中包含待识别的样本,且待识别的样本具有已标记样本的特征,因而直接将未标记样本作为负样本不太合适。对此,Denis等提出了 PU学习理论,并产生了 PU学习算法。国内外有关PU学习的研究主要集中在以下三个方面:静态确定数据集上的PU学习、静态不确定数据集上的PU学习,以及数据流上的PU学习。本文针对静态确定数据集上的PU学习进行研究。已有的静态确定数据集上的PU学习算法可被分为三类:第一类是仅在已标记正样本上进行学习;第二类是通过识别未标记样本中的可靠负样本,再与已标记正样本结合,使用基于正、负样本的机器学习算法进行学习;第三类是将未标记样本作为负样本,将未标记样本中包含的未被识别出的正样本作为负样本中的噪声进行处理,从而直接在正、未标记样本上进行学习。此外,由于基于规则的分类算法的分类器的可解释性较好,且能处理连续型数值特征与标量型特征组成的混合特征集,因而基于规则的分类算法受到广泛应用。其中,基于规则的分类算法主要包括决策树类算法和关联分类算法。然而,在已收集到的文献中,基于规则的PU学习算法多为决策树类算法,而少有基于关联分类算法的方法。因此,文本基于常用的关联分类算法CBA,提出了一种新的PU学习方法。本文所提PU学习方法共分以下四个步骤:分类关联规则产生、样本类别分布不平衡时的分类关联规则置信度调整、分类关联规则相对置信度计算,以及基于分类关联规则相对置信度的分类。其中,受未标记样本中包含的未被识别出的正样本的影响,计算出的分类关联规则的置信度与真实值有差别。具体而言,正类别的分类关联规则的置信度较真实值偏小,而未标记类别的分类关联规则的置信度较真实值偏大。使用分类关联规则进行分类时,提高分类效果的关键在于找到具有类别区分力的分类关联规则。对此,本文提出使用分类关联规则相对置信度来衡量分类关联规则分类结果的可信度。最后,在10个二元分类的UCI数据集上,对本文所提方法与CBA算法和POSC4.5算法在不同PU学习场景下的分类效果进行比较。其中,采用分层随机抽样,按50%:50%的方式将各数据集划分为训练集和测试集,然后再分别按0%、30%、60%、90%的比例,将训练集中的已标记正样本转换为未标记样本中包含的未被识别出的正样本,与训练集中的原负样本一起构成未标记样本集,以便模拟不同的PU学习场景。此外,使用AUC作为实验评价指标。实验发现,随着训练集中可供学习的正样本的数量不断减少,而未标记样本中包含的未被识别出的正样本的数量越来越多,本文所提方法在PU学习场景中的分类效果优于CBA算法和POSC4.5算法。不过,在上述实验中同样发现,CBA算法和本文所提PU学习方法对样本进行正确分类的能力均大致呈下降趋势,POSC4.5算法的分类效果较本文所提方法稳定。
其他文献
利用人工速生林木材比强度大、保温抗震、可再生等天然特性,研究木材仿生缠绕加工利用新技术,开发具有优良保温、抗震、防腐等性能的高强度压力输送管,为水利工程和城市地下
我国是世界上利用厌氧发酵技术人工制取沼气最早的国家之一,沼气的开发利用已从生活领域发展到生产领域,由农村发展到城市,并充分发挥其经济、社会和生态环境效益,引起了各级领导
2016年至2020年,是全面建成小康社会的关键期,要全面建成小康社会,首先要实现经济增长方式转变,其次要求缩小收入差距,提高人民生活水平。不论是经济转型还是缩小工资差距,其本质要素都是人,经济发展主要取决于人力资本质量的提高,缩小工资差距取决于劳动力市场结构的优化。高等教育作为我国高技能劳动力的主要输出口径,承担了提升人力资本质量和优化劳动力结构的主要任务。1999年高校扩招以来,我国人力资本存
超短脉冲光纤激光器因其峰值功率高、单脉冲能量大、光谱宽等优点,在光纤传感、材料微加工、生物医学探测等光纤领域具有非常重要的应用价值。被动锁模机理可分为非线性偏振
1试验目的为了验证"富华农"叶面肥肥效和经济效益,2004年3月安排在番茄上进行试验.
今年我镇水稻种植面积大幅度增长,其中早稻种植面积740亩,中稻10300亩,双晚750亩.因此,对近几年来浸种催芽技术进行总结,有利于广大农民做好农业生产关键的第1步.
斑痣盘菌目成员在生物学上具有广泛的多样性,其寄主范围很广,包括裸子、被子及蕨类植物,它涉及的寄主植物多达58科,是世界菌物资源中的一个重要组成部分。该目成员的真菌系统
《关于争端解决规则与程序的谅解》(DSU)第21条确立了世界贸易组织争端解决机构(DSB)执行建议和裁决的监督机制,其中包括第21条第1款的迅速执行原则;第21条第3款规定,当迅速
产品的包装设计是体现企业的经营理念、产品特征和用途,甚至是企业文化等诸多方面的信息,更为关键的是,它是消费者接触该产品的第一印象。而且随着消费市场的转型升级,人们对产品包装以及由此延伸品牌效应有更高要求,产品消费越来越多的由普通消费转向品牌消费和身份消费,这就对包装提出差异化的需求。实践证明,发展较好的企业往往越重视品牌建设,而品牌建设过程中优良的包装设计不仅能够提升产品形象,也能够为企业带来经济
当第一个S位点基因发现之后,对于它在植物中自交不亲和信号转导途径中的研究就成为热点。现在的研究结论已经得出,控制自交不亲和性的S-locus的三种基因为SLG、SCR/SP11及SRK