论文部分内容阅读
统计学习理论中的支持向量机方法具有全局最优、结构简单、推广能力强等优点,是目前机器学习和模式识别领域的研究热点之一。但是,支持向量机方法自身的复杂性成为其处理大规模数据时的“瓶颈”问题。本文针对支持向量机的时间复杂度和空间复杂度等问题,分别就支持向量机的快速学习和增量学习问题方面进行了研究。 本文研究工作主要围绕以下几个方面进行: 首先概述了本文研究内容的基础——统计学习理论与支持向量机方法,描述并比较了目前研究与应用较多的几种变形算法,为本文后续的研究方向与内容进行了铺垫。 提出了启发式支持向量机快速学习方法。借鉴主动学习的思想,利用支持向量的几何特点,提出选择支持向量的启发式规则;以启发式规则和内积矩阵分解算法为基础,进行对样本的启发式训练和快速分类。前者尽可能地选择了对分类器最有利的样本进行训练,提高了训练速度和训练精度;后者则在保证了分类精度不损失的前提下,提高了分类速度。 提出一种支持向量机的渐进增量学习算法;研究了支持向量机在处理大规模数据时的增量学习方法和策略,分析了基于分块法和基于KKT条件的代表算法的特点和不足;利用由初始的分类器确定的KKT条件来选择一部分增量样本进行训练,有效地降低了对样本训练所需要的时间,并避免了增量样本分布对初始学习结果的影响,提高了增量学习的精度。 提出了一种基于多支持向量机分类器的并行学习算法。考虑到样本集的分布对分类器性能的影响,通过距离阈值选择一定数量的样本作为必要的反馈,构成循环式的反馈以更新分类器,使各分类器的分类性能在全局最优。 提出了一种改进的Cascade SVMs算法;分析了反馈产生的原因及方式,提出以交叉反馈的方式来缩短Cascade SVMs算法中逐层合并支持向量集产生反馈的时间,在保证分类器的分类性能的同时,缩短了更新分类器需要的时间。 将支持向量机方法应用于虚拟企业伙伴决策问题中。针对常规虚拟企业