论文部分内容阅读
支持向量机(Support VectorMachine,SVM)是由Vapnik等人提出的一类新型机器学习方法,是基于统计学习理论、根据结构风险最小化原理而推导出来的,集优化、核、最佳推广能力等特点于一身,有着很好的学习性能和泛化能力。该方法已经成为机器学习界的研究热点,并在很多领域中得到了成功的应用。支持向量机可以归结为二次规划求解的问题。在大规模的实际问题应用中,传统的二次规划会涉及大量的矩阵运算,存在运算速度慢的问题,这在很大程度上影响了支持向量机的应用。因此在保证分类精度变化不大的情况下,加快支持向量机的训练速度对SVM学习的研究具有重要的理论意义和使用价值。本文的主要研究内容包括:介绍了指数梯度更新规则,它是一种乘性的更新规则。理论分析和实验结果都表明,当学习机的稀疏性较强时,指数梯度更新比传统的加性梯度下降更新具有更快的收敛速度。基于这一性能,提出了一种基于指数梯度更新来解决硬间隔的SVM算法,它是一种直接优化的方法,其所有变量可以并行迭代,并且可以使得二次规划的目标函数快速地下降到它的全局最优点。进一步提出了一种基于指数梯度更新来解决软间隔的SVM算法。在进行更新之前,首先通过一个线性变化,对混合约束二次规划进行了转换,并去掉箱式约束,然后再进行更新。该算法保证了在分类精度变化不大的情况下,加速了软间隔SVM的训练。理论分析和仿真实验证明了该算法的有效性。