基于指数梯度更新的支持向量机算法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:myselffan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机(Support VectorMachine,SVM)是由Vapnik等人提出的一类新型机器学习方法,是基于统计学习理论、根据结构风险最小化原理而推导出来的,集优化、核、最佳推广能力等特点于一身,有着很好的学习性能和泛化能力。该方法已经成为机器学习界的研究热点,并在很多领域中得到了成功的应用。支持向量机可以归结为二次规划求解的问题。在大规模的实际问题应用中,传统的二次规划会涉及大量的矩阵运算,存在运算速度慢的问题,这在很大程度上影响了支持向量机的应用。因此在保证分类精度变化不大的情况下,加快支持向量机的训练速度对SVM学习的研究具有重要的理论意义和使用价值。本文的主要研究内容包括:介绍了指数梯度更新规则,它是一种乘性的更新规则。理论分析和实验结果都表明,当学习机的稀疏性较强时,指数梯度更新比传统的加性梯度下降更新具有更快的收敛速度。基于这一性能,提出了一种基于指数梯度更新来解决硬间隔的SVM算法,它是一种直接优化的方法,其所有变量可以并行迭代,并且可以使得二次规划的目标函数快速地下降到它的全局最优点。进一步提出了一种基于指数梯度更新来解决软间隔的SVM算法。在进行更新之前,首先通过一个线性变化,对混合约束二次规划进行了转换,并去掉箱式约束,然后再进行更新。该算法保证了在分类精度变化不大的情况下,加速了软间隔SVM的训练。理论分析和仿真实验证明了该算法的有效性。
其他文献
极小极大分式规划是继多目标规划的评价函数法发展起来的规划,极小极大法是在对策论中经常用到的思想,即在最不利的情况下找出一个最有利的策略。集函数的多目标规划已有很多
随着我国证券市场的快速发展,作为一种介于债券和股票之间的混合金融衍生工具,可转换债券逐步受到较多的关注.不同于普通债券,可转换债券具有的多种附加条款以及转股权利使得自
在这篇文章中,我们给出了多分量 BKP(MBKP)和多分量 CKP(MCKP)方程族的定义和规范变换.除此之外,我们推导出 MBKP方程族在一阶规范变换下的解,给出了BKP(CKP)方程族和MBKP(MC
随着经济和科技的迅猛发展,网络与人们的工作、日常生活等方面的关系越来越密切.自然,网络的可靠性和容错性倍受人们的关注.研究网络的可靠性和容错性是近年来国内外研究的热点之
由间断系数所导致的真解在间断面上出现跳跃的现象,我们称之为界面问题,间断面称之为界面.在工程计算、数值模拟以及现实应用中存在大量的界面问题,如材料科学中具有不同密度的材
首先,本文在前人工作的基础上,针对下列多孔介质中可压缩可混溶驱动问题模型(公式略),提出了间断有限体积元方法,该方法并不要求函数在跨越内部单元边界时保持连续,从而使空