统计学习理论（SLT）是机器学习领域的一个新的理论体系，它非常适用于解决有限样本条件下的机器学习问题。支持向量机(Support vector machine, SVM)是在统计学习理论的基础上发展起来的一种小样本学习理论，与神经网络、遗传算法、人工智能等现有的机器学习方法相比，具有较好的推广能力和非线性处理能力，尤其是在处理高维数据时，有效地解决了“维数灾难”问题。现已广泛应用于模式识别和回归估计等问题中。 由于SVM还是一门崭新的技术，无论是理论上还是实际应用中都有许多问题亟待解，本文主要针对支持向量分类机的算法问题进行了研究： 一是研究了支持向量、中心距离比值、边界向量以及增量学习之间的关系，提出了基于中心距离比值的增量支持向量机。与传统方法相比，基于中心距离比值的增量支持向量机有效的利用了中心距离比值，解决了CDRM+SVM的阈值选取问题；且适合于增量学习；从而在保证了SVM的分类能力没有受到影响的前提下大大地提高了SVM的训练速度。 二是为了弥补最小二乘支持向量机（LS- SVM）所缺失的稀疏性，结合中心距离比值提出了一种稀疏最小二乘支持向量机。该方法不仅弥补了LS- SVM的稀疏性，而且减少了计算机的存储量和计算量，加快了LS- SVM的训练速度和决策速度，且不影响LS- SVM的分类能力。 三是利用SVM中支持向量的稀疏性和支持向量分布于分划超平面周围的性质，提出了一种预抽取相对较近边界向量的选块算法，该算法提高了FFMVM方法的准确率和减少了普通选块算法的迭代次数，从而在保证了SVM的分类能力没有受到影响的前提下大大地提高了SVM的训练速度。