论文部分内容阅读
核方法是新近发展起来的一种模式识别方法,它的理论基础来自于统计学习理论。统计学在解决模式识别问题中发挥了基础的作用,但是传统的统计学所取得的成果大多建立在渐近理论之上,即样本观测数量趋于无穷多的时候的统计性质。这个条件在现实中是比较苛刻的,也是难以满足的。虽然如此,传统上仍然以样本观测数目无穷多为前提来推演各种算法,这不能不说是一个缺陷,它也是造成神经网络等算法中的过学习问题的原因之一。 相比之下,统计学习理论的出发点就是研究有限样本观测情形下的模式识别问题,经过几十年的发展,它已经具备完备的理论基础和严格的理论体系。统计学习理论已经成为机器学习的一个重要的研究方向。 本文主要讨论模式分类与聚类中的核方法,以及其它相关的理论和应用的关键问题。初步取得的研究成果和创新有: 第一,经典的核函数作用在欧氏空间的向量上,作者从空间旋转的角度,提出了把核函数的作用域扩展到向量集合之上的方法,使之能够胜任需要表示和处理更复杂的数据对象的机器学习任务。与类似的工作相比,它不需要预先假定数据服从某个概率分布,也不需要利用数值方法计算复杂的积分。在人脸识别的实验中,本方法比类似的工作达到了更低的误识率。 第二,Eigenface和Fisherface是两种常用的人脸识别算法,它们本质上是线性的,且着重发掘和利用映像空间的全局结构。对于非线性结构,它们无能为力。本文讨论了局部空间结构对人脸识别的意义,我们认为局部空间结构可以用线性或近似线性的方法学习和表示,并且可以通过对局部结构的逐段线性化,来学习和表示全局的非线性结构。结合LLE算法,提出了利用逐段线性化学习和表示局部结构的核方法。在人脸识别的实验中,它比Eigenface和Fisherface表现出更好的识别能力。 第三,LPP算法是一种数据降维和数据可视化方法,它是基于谱图理论的。由于谱图理论与微分流形具有密切的关系,且对于流形来说,测地线距离比欧氏距离更能准确揭示数据间的相似性,将LPP算法推广到利用测地线距离进行数据降维,并把这一方法扩展到核函数特征空间。在多个降维后的人脸识别实验中,它比LPP算法取得了更好的性能。 第四,尽管有众多的核函数可供利用,但是如何为特定的机器学习任务选择合适的核函数,是核方法的理论研究中一个具有挑战性和开放性问题。从流形