正则化方法用近似解来逼近原不适定问题的解,是在工程技术领域中解决不适定问题的重要数学方法。在机器学习领域中,不同的正则化方法对同一机器学习方法来说具有不同的学习性能。如何选择正则化方法是机器学习研究领域中的一个重要话题。传统统计学习方法只最小化经验风险,往往会产生过学习问题。要提高分类器的分类性能,需要增加训练样本量和凭借专家经验来选择分类函数模型。而统计机器学习方法提出了分类函数的VC维、泛化能力、泛化能力的界以及结构风险等理论,并指出,在训练分类器时同时最小化经验风险和置信范围可以降低分类函数的复杂度,解决过学习问题和小样本问题,以及提高分类器的泛化能力。当遇到有些样本的分布是线性不可分时,如果采用线性分类模型进行分类,其分类性能就会很差。此时可以利用非线性映射方法把原输入样本空间映射到更高维甚至是无限维的特征空间,在特征空间中可以实现线性分开这些样本。在实际应用中,可以利用满足Mercer定理的核函数内积来代替这种非线性映射方法。针对只遵循ERM准则的机器学习方法会产生过学习的问题,现有支持向量机在经验风险一定的情况下,通过引用Lp(p=2,p=1)正则化来降低分类函数的VC维,实现SRM准则,能够解决过学习问题和小样本问题,提高了分类器的泛化能力。本文的主要工作有：(1)对正问题、反问题、不适定问题、Moore-Penrose广义解、广义解的不稳定性、正则化原理、正则化方法、统计机器学习原理以及统计学习理论中的VC维、泛化能力、泛化能力的界、SRM准则等与支持向量机相关的基础性理论作了详细的探讨。(2)在有监督学习框架下和半监督学习框架下,探讨了Lp(p=2,p=1)正则化线性支持向量机方法和核支持向量机方法,以及流形正则化支持向量机,并利用这些方法对合成的两圆数据集和现实的四种两类数据集进行了分类性能的比较实验,验证了核支持向量机把非线性可分样本映射到高维特征空间中后,能够实现线性分开这些样本,以及引入训练样本的内蕴几何信息,可以提高支持向量机的分类性能,同时得出各数据集的分布特点以及各算法的分类性能特点和ROC曲线特征。(3)结合稀疏思想及现有平滑函数的优点,采用高斯平滑函数集来逼近Lp(p=0)正则化项,提出了平滑稀疏正则化支持向量机,详细探讨了其优化步骤。平滑稀疏正则化支持向量机可以训练出模型更简单的分类器,并具有样本特征选择的特性。并与现有支持向量机算法在5个两类和多类数据集上进行了实验比较,得出了平滑稀疏正则化支持向量机方法的有效性。同时发现,对于多类数据集来说,内在分类器模型具有一定的复杂性,而训练出来的分类器对多类数据集来说不是越简单越好。