统计学习理论研究的是与利用经验数据进行机器学习相关的一般理论,由于对样本数目有限的情况进行了比较系统的考虑,其实用性比传统统计学理论更好。在此基础上发展起来的支持向量机方法因为其在样本有限情况下的推广能力较好而受到广泛重视,它不同于其余机器学习算法(它们只利用经验风险最小化原则),训练学习机时使用结构风险最小化原则,并采用VC维理论对结构风险进行衡量。支持向量机是机器学习领域内若干标准技术当中的集大成者,它不但集成了最大间隔超平面、凸二次规划技术,还集成了Mercer核、松弛变量以及稀疏解等多项技术,在众多富有挑战性的应用(模式识别、回归估计等)中,获得了现在为止最好的性能。本文一开始对机器学习与统计学习理论进行了介绍,在此基础上介绍了支持向量机方法的特点,又对它在分类问题中的应用进行了讨论。本文主要涉及两方面内容：第一在前人对支持向量机的研究成果基础上对其光滑函数进行了研究,并推导出了一个八阶光滑函数。通过对它的光滑性能和逼近精度进行讨论,我们得出了下面的结论：同已有的一到七阶的光滑函数相比,本文提出的新光滑函数的逼近性能更高。第二,文章在前人的成果基础上讨论了基于支持向量机的概率密度估计问题,进一步的研究了基于多核结构可调支持向量机的概率密度估计问题,将多种有关支持向量机的技术和用于解决不适定性问题的P方法融合起来对概率密度估计问题进行解决。这一方法综合考虑了多种实际因素,因而其稳健性更强、适用范围更广。