小样本问题是指与模式特征空间的维数相比，训练样本的数量较少。因此，使用线性鉴别分析(LDA)与二次判别分析(QDA)算法所要面对的关键问题是如何解决协方差矩阵的奇异性和不稳定性。对此，本文提出了一系列解决算法。首先，采用两种方法生成虚拟训练样本。一种方法是在特征子空间中采用一组标准正交向量来生成虚拟样本，然后使用虚拟训练样本对各类协方差矩阵进行优化。另一种是采用对训练样本进行扰动来生成虚拟样本，然后利用这些虚拟样本使各类协方差矩阵非奇异。因此，可以直接使用二次判别分析。其次，是采用智能特征提取和分类器算法，以及双空间算法。本文应用机器学习理论设计特征提取及分类器算法，提出了具有学习功能的智能特征提取及分类器算法。该算法可以自动地向测试样本进行学习并不断更新系统知识。另外，双空间算法是将在一个子空间中难以识别的测试样本再投影到另一个子空间中，进行分类识别。最后，将两个子空间的识别结果一起进行正确率测试。本文还提出了一种新颖的基于正交投影的分类器算法。该分类器的特点是不需要计算样本的协方差矩阵的逆阵，且其识别率高于RDA及最近邻分类器。在特征值及特征向量的扰动分析基础上，本文指出了病态特征值所对应的特征向量会受到较大扰动。由此，提出了不相关鉴别矢量集的优化算法。利用该优化算法可简化投影矩阵，从而提高特征提取的效率并使模式识别率的稳定性得到改善。