论文部分内容阅读
核方法是机器学习的重要方法。模型选择与模型组合问题是核方法理论研究和实际应用的关键问题。当前,核方法模型选择准则大多基于模型复杂性,但模型复杂性难以表示与度量;核方法模型组合方法一般应用全集组合策略,泛化界没有达到理论最优值;核方法模型组合的优化算法主要采用半定规划法,计算效率较低。针对上述问题,本文基于矩阵谱理论,提出了核方法模型选择与组合的核矩阵谱分析方法。研究了核矩阵的选择准则、组合方法与优化算法,并通过实验分析,表明了所提出方法的合理性和有效性。主要研究工作包括:1.在核方法模型选择准则方面,针对现有模型复杂性难以表示与度量问题,提出了核矩阵选择的一阶准则与二阶准则。分析了核矩阵泛化界与显著特征值数、位二特征值的关系,由此提出了核矩阵选择的一阶准则;证明了近似最优集中核矩阵凸组合的泛化界,由此提出了核矩阵选择的二阶准则。将核方法模型选择归约为核矩阵谱性质的计算与分析,避免了直接表示与度量核模型复杂性。理论分析了AIC、MDL等模型选择准则的谱依赖性,实验验证了AIC、MDL等准则与一、二阶准则的一致性。2.在核方法模型组合方法方面,针对现有全集组合法泛化界O(?)没有达到理论最优值问题,提出了核矩阵凸组合方法COSK。COSK采纳核矩阵的一阶准则与二阶准则,对核矩阵集进行两次筛选,逐阶生成核矩阵备选集与近似最优集,并应用近似最优集进行组合,可使核矩阵凸组合的泛化界达到理论最优值O(?)。在标准数据集上对比了全集组合方法与COSK的泛化性。3.在核方法模型组合的优化算法方面,针对计算复杂度为O(N1.5N4.5)的半定规划计算效率较低问题,通过对最大间隔型学习问题的目标函数与约束条件的等价变型,将问题归约为凸约束、多面体约束和椭球约束的核矩阵组合问题,设计并实现了计算复杂性为O(Nn3.5)的二阶锥优化算法。在人工合成数据和标准数据集上对比了半定规划与二阶锥优化的计算效率和预测精度。