振动信号分析是进行旋转机械故障诊断的重要手段，旋转机械故障诊断的一般流程包括采集振动信号、提取故障特征和识别运行状态三部分。本文重点研究应用最广泛的齿轮及齿轮箱的故障及诊断方法，通过信号处理的手段提取齿轮箱的故障振动信号的时域特征、频域特征和非平稳的时频域特征，并应用支持向量机进行故障识别。从而实现对齿轮箱的故障诊断。故障诊断的最重要的是故障特征的提取，本文对齿轮的振动信号和故障特征进行分析，并从时域、频域、时频域三方面研究基于振动信号分析的故障诊断方法。在时域上提取有量纲和无量纲指标，在频域上提取功率谱能量熵、倒频谱周期成分和包络谱特征，在时频域上提取小波包频带能量比，并进行希尔伯特黄变换分析。重点研究希尔伯特黄变换算法，提出一种抑制端点效应的新算法，应用于经验模态分解（EMD）中，减少端点效应产生的分解误差，并对得到的本征模态函数进行归一化Hilbert变换，提取瞬时频率谱参数作为故障特征。通过仿真实验表明，改进的EMD分解能更加有效的分解出信号的原始成分，为瞬时频率谱的提取打下基础。通过实例验证，本方法提取的瞬时频率谱能够作为特征，进行齿轮状态的判定。为了提高状态识别正确率和解决小样本学习问题，本文提出免疫猫群改进算法优化支持向量机（ICSO-SVM），利用猫群算法的分组特性，将种群分为搜索组和跟踪组，分别加入免疫算法的克隆选择和动态疫苗接种算法，运用克隆扩增算子在搜寻组中进行局部搜索，根据亲和度值大小调节变异个体数目，保持解的多样性；运用动态疫苗提取与接种算子使跟踪组个体基因与疫苗进行交叉变异，向最优解靠拢，防止无监督交叉变异可能引起的退化现象；并通过浓度平衡算子和选择算子更新子代种群，防止种群“早熟”。利用免疫猫群改进算法对SVM分类过程中的惩罚参数和核参数进行优化，提出基于免疫猫群改进算法优化的支持向量机识别方法用于故障状态分类和识别。通过仿真实验表明，免疫猫群改进算法具有较高的收敛性，改进的支持向量机算法提高了识别正确率。将瞬时频率谱特征及其他特征和ICSO-SVM算法应用于齿轮故障诊断系统中，利用MATLAB开发工具，实现了对齿轮箱故障状态的准确诊断。