在机械设备故障诊断研究中，故障特征提取和识别关系到故障诊断的可靠性和准确性，是机械设备故障诊断研究中的关键问题。利用振动信号对其工作状态进行监测和诊断是目前状态监测和故障诊断研究中最常用的方法。本文通过研究振动信号非线性特征，利用奇异值分解、分形自仿射和分形维数等进行故障特征提取，并应用支持向量机进行故障模式识别。论文的主要研究工作包括：①采用多种分析判定方法分析振动信号的非线性本质特性。第一：采用递归图、CLY方法、功率谱法和基于最小二乘支持向量机(LS-SVM)计算序列Lyapunov指数谱的方法对不同状态振动信号进行非线性混沌分析，结果表明不同状态振动信号均表现出混沌特征而且都是超混沌特征，且振动故障越大超混沌越强。第二：改进了Hurst指数和多重分形谱计算方法，分析了不同状态振动信号的非线性分形结构特征，结果表明振动信号在不同状态下的分形特征值存在差异，具有不同的分形结构。②对振动信号非线性和分形压缩的理论基础进行分析研究的基础上，提出了适用于振动信号的自适应分段自仿射压缩降噪故障特征提取方法，给出了算法步骤，该方法根据振动信号自相似程度通过设置阈值来自适应的确定分段的长度，对阈值的取值进行了研究，并和分段自仿射压缩算法进行了比较。仿真算例及实测轴承振动信号分析结果表明，该算法具有较高的数据压缩比和很好的信号重构精度，有效的提取和保留了振动信号的故障特征，验证了该方法的有效性。③针对通常故障状态样本缺乏的一类分类问题，提出了混沌分形特征的支持向量数据域描述法(SVDD)振动故障异常辨识方法。对混沌分形特征进行了研究并采用基于SVDD的综合了分类两种分类错误的接收者操作特征(ROC)选择振动信号的最优特征量组合，研究了混沌分形特征量组合的特征选取问题和SVDD异常辨识核函数参数取值对故障分类的影响。实验分析表明，选取的特征量组合对正常和故障样本有较大的区分度，SVDD分类器仅需要正常状态的数据样本，就能很好的分辨出正常和故障状态，并且对未知故障有良好的辨识能力。④针对实测振动信号中混杂的干扰信息趋势，影响故障诊断的准确性问题，提出了一种多重分形去趋势波动分析(MF-DFA)振动故障诊断方法，利用均方误差对若干小区间的多行式拟合消除其趋势，对方法估计的多重分形谱4个参数特征进行了分析和对比研究，最后选择最佳多重分形谱参数0作为振动信号故障的量化特征，并将该0特征量与支持向量机（SVM）算法相结合进行故障诊断。实验研究表明：去除趋势后，很好的保留了振动信号中的尖峰和突变部分，振动信号的波动呈现显著多重分形特征，选取的故障特征量与SVM相结合的方法，能有效地区分正常状态与故障状态，有很强的振动故障诊断性能；⑤针对振动信号弱冲击故障频率特征提取困难问题，提出一种奇异值分解及形态滤波的振动故障特征提取方法。该方法利用信号时间序列重构的吸引子轨迹矩阵奇异值分布特征与信号自身特征的关系，选择轨迹矩阵中主要反映冲击信息明显的奇异值进行信号重构的方法来滤除信号中的平滑信号和部分噪声，获取带噪声的冲击信号，然后利用形态滤波能有效滤除脉冲干扰噪声的特点提取信号的冲击故障特征。仿真与实例表明，该方法能有效提取强噪声背景中的弱冲击故障特征信号，是一种有效的弱信号特征提取方法。最后，对本文的主要工作以及取得的成果进行了总结，并进一步指出了今后工作的研究方向。