分类器设计和特征提取技术一直是模式识别研究的两个重要课题,受到军用和民用领域广阔应用背景的驱使,近十年来,其在理论和应用方面得到了迅猛的发展,不断涌现出许多新的方法,而支持向量机(SVM)和流形学习的性能显得尤为突出。本文针对这两个热点技术在实际应用中存在的不完善之处,从SVM多分类、非平衡样本的分类、集成学习以及基于流形学习的线性特征提取方法等几个方面进行了深入的研究,提出了一些合理有效的新方法。本文的研究成果主要包括以下几个方面:1.结合自组织映射(Self-Organizing Map,SOM)的非线性和拓扑有序性的特点,提出了一种基于SOM解码的SVM多分类方法。该方法利用二分类SVM输出的幅值信息,避免了同时与多个类别距离最小的情况,克服了不确定问题,优于目前使用的基于汉明距离的解码方法,特别是对于简单的OVA编码方式,效果更为明显。同时,揭示了对于多分类问题,并非使用的二分类器的数量越多性能就越好,存在一个最优码长,码字的选择将影响分类效果。2.针对实际应用中正负样本数量分布不平衡的分类问题,提出了一种修正的近似SVM(PSVM)算法。通过在原始PSVM的优化问题中引入一个对角阵,进而对正负样本分配不同的惩罚因子,使得其能够适应数量分布不平衡的数据集,拓展了PSVM的应用范围,利用拉格朗日方程、Sherman-Morrison-Woodbury公式和矩形核的思想,推导了线性和非线性情况下的决策函数。3.特征选择是构造集成学习算法的一种有效策略,它能够为个体学习算法提供不同的特征子集。借助特征选择算法(Relief(F))能够非线性优化特征权值的特性,提出了一种基于Relief算法的PSVM集成方法,解决了单纯扰动训练数据对于PSVM集成效果不明显的问题,该算法在提高个体PSVM性能的同时,兼顾了个体之间的差异,从而提高了集成系统的泛化能力和鲁棒性。4.在基于流形学习的线性特征提取算法(邻域保护嵌入,NPE)的基础上,提出了一种正交邻域保护嵌入算法(ONPE)。首先定义一个邻域保护函数,以反映投影向量的邻域保护性能。然后通过增加一组正交约束条件,构成新的优化问题,推导得到一组具有正交性的投影向量,从而具有更优越的邻域保护能力。利用邻域保护性能和特征的类别判别能力之间的关系,使得该算法提取的特征具有更好的分类性能。5.利用核思想,提出一种基于核邻域保护嵌入算法(KNPE)的非线性特征提取方法,意在保护非线性特征空间中的邻域结构。由于该算法利用了数据的高阶信息,因而对于样本的描述更加丰富和细致,同时继承了NPE的局部特性最优的性质,使提取的特征更加有效。在求解广义特征值问题中,结合了特征空间中的邻域保护函数和核矩阵的QR分解,有效地克服了KNPE算法中的奇异性问题;在深入分析KNPE算法特性的基础上,找到了KNPE算法的本质,即KNPE=KPCA+NPE,由此得到了求解KNPE的一种简单易行的方法。