论文部分内容阅读
统计学习理论是近年发展起来的一个重要的机器学习分支,多数统计学习中有效的学习算法都是基于风险最小化原理的,包括支持向量机(SVM),核函数法,Logistic回归,最小二乘回归等等,与其他机器学习方法相比,这些方法有着良好的易用性和性能,因而在数据分类,模式识别,数据挖掘等领域中都获得了广泛的应用。因为统计学习要从有限的小规模样本中获得分类机的参数,因而对分类机受数据扰动影响程度的研究,也即研究分类算法的鲁棒性,就具有重要意义。另一方面,最大化绝对边界是包括SVM在内的很多分类方法的出发点,以相对最大边界(RMM)代替绝对边界可以克服这些方法存在的某些缺陷,将此方法应用于半指导学习具有重要的理论意义和应用价值。 本文以优化和泛函分析理论为基础,研究了模糊分类问题中的凸风险最小化方法的鲁棒性问题,在引入相对最大边界的基础上,对 RMM模糊一类分类方法进行了研究,给出了分类机的求解方法。论文主要分成以下三个部分: 第一部分,在统计学习理论基础下分析了支持向量机和模糊一类支持向量机的基本模型和算法,并结合结构风险最小化理论,分析了模型中核参数和惩罚参数对分类机性能产生的影响。 第二部分,针对带有二次连续可微损失函数的凸正则风险最小化方法,研究了模糊学习过程的鲁棒性。首先我们引入影响函数来评价学习算法的鲁棒性,通过计算最小化泛函的Gateaux导数,利用Fredholm替换定理,在适当条件下给出了影响函数的上界估计。 第三部分,对于模糊半指导学习问题,本文首先介绍了 RMM方法的基本思想,并分析了RMM分类机与SVM的关系。然后针对线性二分类问题,对于两类不同模型,建立了RMM模糊一类分类机模型,通过Lagrange乘子法,将确定分类超平面权向量的约束优化问题转化为无约束优化问题,最后通过引入特征映射将此结果推广到一般的非线性二分类问题。