论文部分内容阅读
降维是模式识别系统的一个构成要素,其本质是将数据从高维映射到能反映原始数据分类本质的低维空间,以利于有效分类。根据映射方式降维算法可分为线性型和非线性型,其中主成分分析(PCA)和线性判别分析(LDA)是最为典型的两种线性降维算法,并广泛应用于图像降维等。当PCA和LDA进行图像降维时,常先将其向量化,如此不仅破坏了图像原有的空间结构,而且更无法对其利用,从而降低了分类器应有的学习性能。著名的“没有免费午餐定理(NFL)”告诉我们:如果可以利用更多与问题相“匹配”或相关的先验知识进行建模学习,则能获得性能更优的学习器。因而将空间结构信息融入至降维过程成为近年来的一个重要研究内容。本文立足LDA开展了研究,并取得了如下成果:1.总结出了目前将空间结构信息融入至线性降维算法的两类主要方法,一是空间平滑的子空间学习(SSSL);二是基于欧氏距离度量的空间平滑。前者通过对优化目标的空间正则化实现对空间结构信息的利用,而后者则是通过空间平滑欧氏距离实现。本成果将上述两类方法结合至LDA,分别产生了对应的算法SLDA和IMEDA,探究了两者间的内在联系:理论上证明了SLDA是IMEDA的一个特例;经验上通过在Yale、AR和FERET人脸集上的实验比较了两者的识别性能和运算效率,并分析了参数对它们性能的影响。2.针对SLDA和IMEDA的投影矩阵均通过优化平均类内和平均类间散度(scatter)之比而得,受最坏情况下线性判别分析(WLDA)启发,本成果则通过约束平均类内散度(或紧性)上界的同时,最大化最坏类间散度(或分离度)而得,分别设计出了WSLDA和WIMEDA两种降维算法。并将两者的求解最终归结为简单的特征值优化问题。与原对应算法相比,WSLDA和WIMEDA类间间隔更大,更利于分类。在Yale、AR和FERET人脸集上的实验验证了两者的有效性。3.建立了一个监督型的一般性降维框架,一方面使典型的LDA、局部保持投影(LPP)、邻域保持嵌入(NPE)和稀疏保持投影(SPP)等降维算法作为其特例,另一方面有望通过调整框架内含参数,发展出新的降维算法、对现有算法非参数化、进行空间信息嵌入和代价引入的敏感学习等。