核方法模型选择与模型组合的谱方法

来源 :天津大学 | 被引量 : 0次 | 上传用户:stat2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
核方法是机器学习的重要方法。模型选择与模型组合问题是核方法理论研究和实际应用的关键问题。当前,核方法模型选择准则大多基于模型复杂性,但模型复杂性难以表示与度量;核方法模型组合方法一般应用全集组合策略,泛化界没有达到理论最优值;核方法模型组合的优化算法主要采用半定规划法,计算效率较低。针对上述问题,本文基于矩阵谱理论,提出了核方法模型选择与组合的核矩阵谱分析方法。研究了核矩阵的选择准则、组合方法与优化算法,并通过实验分析,表明了所提出方法的合理性和有效性。主要研究工作包括:1.在核方法模型选择准则方面,针对现有模型复杂性难以表示与度量问题,提出了核矩阵选择的一阶准则与二阶准则。分析了核矩阵泛化界与显著特征值数、位二特征值的关系,由此提出了核矩阵选择的一阶准则;证明了近似最优集中核矩阵凸组合的泛化界,由此提出了核矩阵选择的二阶准则。将核方法模型选择归约为核矩阵谱性质的计算与分析,避免了直接表示与度量核模型复杂性。理论分析了AIC、MDL等模型选择准则的谱依赖性,实验验证了AIC、MDL等准则与一、二阶准则的一致性。2.在核方法模型组合方法方面,针对现有全集组合法泛化界O(?)没有达到理论最优值问题,提出了核矩阵凸组合方法COSK。COSK采纳核矩阵的一阶准则与二阶准则,对核矩阵集进行两次筛选,逐阶生成核矩阵备选集与近似最优集,并应用近似最优集进行组合,可使核矩阵凸组合的泛化界达到理论最优值O(?)。在标准数据集上对比了全集组合方法与COSK的泛化性。3.在核方法模型组合的优化算法方面,针对计算复杂度为O(N1.5N4.5)的半定规划计算效率较低问题,通过对最大间隔型学习问题的目标函数与约束条件的等价变型,将问题归约为凸约束、多面体约束和椭球约束的核矩阵组合问题,设计并实现了计算复杂性为O(Nn3.5)的二阶锥优化算法。在人工合成数据和标准数据集上对比了半定规划与二阶锥优化的计算效率和预测精度。
其他文献
目的探讨预防性护理干预对老年呼吸内科患者医院感染的控制效果。方法选取上海市金山区亭林医院2016 年7月—2017 年6 月收治的500 例呼吸内科老年患者为研究对象(对照组),另
天文交叉证认是实现多波段数据融合的关键技术。经过交叉证认形成的多波段或全波段数据蕴含了更多的可揭示天体物理本质的信息,是加深对天体的认识、促进天文学新发现的关键
随着当前交通枢纽的发达畅通和经济的快速发展,农村农业产业结构也随之发生了调整,养殖业在农村经济中所占的比例逐渐增加,农民对养猪形式看好,农村的中小型养殖户逐渐增多。但由
类风湿性关节炎(RA)的病因至今尚不清楚。近年来国外的研究资料证实,RA患者血清中存在某些抗病原微生物的抗体,如抗分枝杆菌、奇异变形杆菌、肺炎克雷白杆菌、疟原虫等的抗体
写作有没有规律?有人说有,有人说无,有人又说“这是个‘只可会意,不可言传’的难解之谜”。尽管古代和现代的写作理论研究者们在探求写作规律上,作出了许多可贵的努力,但由于
采用杂化密度泛函方法和哈垂-福克方法对CaCuO2的电荷与自旋密度的分布进行了研究. CuO2层的电子结构具有明显的二维特征.电子间的关联效应使Cu离子的自旋极化被削弱的同时,
习近平总书记在纪念马克思诞辰200周年的重要讲话,是新时代推进马克思主义中国化的行动指南和理论遵循。
近年来,大学生'慢就业'心理愈发普遍。本文从大学生自我意识发展、就业需求层次提升以及就业认知偏差三个方面分析大学生'慢就业'心理的成因,以期为大学生树
教员控制台系统是飞行模拟器的总控制台,实现对模拟器整机的运行控制、实时状态监控等,是飞行模拟器的重要组成系统之一。根据不同用途的飞行模拟器应用特点,以及国内外主要