基于数据的机器学习问题是现代化智能技术中十分重要的一个方面,主要研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律,利用这些规律去分析客观对象,对未来数据或无法观测的数据进行预测。而学习方法基本上可以分为监督学习和非监督学习两种方法。本文研究内容也分为两部分,第一部分主要对非监督学习中基于竞争网络的学习量化,特别是广义学习量化算法进行的研究,在论文的第二章叙述。第二部分主要对基于统计学习理论的支持向量机的一些关键问题进行的深入研究:包括算法、核函数和模型选择研究,主要在论文的第三、四、五、六、七、八章介绍。本文所有研究工作可以分为以下6个方面:1.对非监督学习中基于竞争网络的学习量化的研究,特别是广义学习量化算法的研究。分析了已有算法的性质和存在的问题,提出一种修正的广义学习向量量化算法,该算法不但简单,而且改进了已有算法的一些缺陷:克服了一些算法对数据的“Scale”问题,并且对初始点和初始学习率都不敏感。进一步引入激励因子,利用模拟退火思想,给出提高一般学习向量量化算法的措施。2.对标准支持向量机的算法研究。这部分给出了三个算法:1)针对线性分类问题,将原二次规划转化为低维无约束非光滑规划,采用合适的光滑函数给出求解该问题的低维Newton算法;2)对一般分类问题,通过分析二次规划的ε-扰动规划的最优解和二次规划的无约束Lagrange对偶问题的光滑熵函数的极小点的关系,提出求ε-支持向量的极大熵算法;3)对一般分类问题,同样讨论了其无约束、非光滑Lagrange对偶问题,而采用Huber鲁棒回归函数将其近似为可微光滑分片二次函数,采用快速收敛的精确Newton型算法求解,给出训练支持向量机的Huber近似算法,由于目标函数的梯度是分片线性函数,所有过程可以快速完成。3.对变形SVM问题的研究(1)。针对O. L. Mangasarian及其学生、合作者提出的一种简化变形SVM,利用Lagrange对偶技术,将高维二次规划转化极小化低维的可微分片二次函数。注意到该目标函数的梯度连续但二阶导数在一些区域不存在,采用精确线搜索的无约束共轭梯度算法求解,提出共轭梯度支持向量机,其中处理非线性问题时需要对核矩阵进行Cholesky分解或非完全Cholesky分解。