系统的状态监测和诊断已成为机械行业的重要研究领域，其发展趋势是寻求合适的理论方法来实现对机械系统早期故障的监测和诊断以取代机械故障后维修的现实。　　在过去二十年内，传动系统中所存在的齿轮磨损严重以及轮齿啮合故障等问题越来越受到使用者的重视，尤其是齿轮裂纹扩展和裂纹故障分析研究日益重要。已有的研究主要集中在分析齿轮轮圈的厚度对裂纹扩展路径的影响，和针对发生故障的齿轮传动系统直接进行动力仿真。对于前者，其研究方法主要是基于断裂力学的基本理论，而这些原理往往包含大量的变量和方程，需综合运用各种计算机软件才能达到裂缝扩展路径的预测目的。对于后者，一些研究者一方面针对齿轮传动系统进行三维裂纹故障仿真，另一方面也通过传统的分析方法来研究其他类型的齿轮故障。为了更好的进行轮齿裂纹扩展路径的预测，发展和丰富现有的齿轮故障诊断技术，本文利用二维分析方法对圆柱齿轮传动系统进行渐进结构优化，进而提出了一种新的适用方法来进行轮齿裂纹扩展路径预测，同时利用有限元方法对存在轮齿故障（包括裂纹、剥落等）的三维圆柱齿轮传动系统进行动力仿真和分析，并得出不同轮齿故障对齿轮传动系统振动响应的影响规律。　　本文的主要工作立足于有限元静态和动态分析--二维和三维静态和动态分析工作包括：　　①提出了基于ESO（渐进结构优化）的轮齿裂纹故障扩展路径的预测方法，其重点是预测裂纹路径的扩展方向（齿根或齿圈），同时分析了四个无故障的二维有限元齿轮模型。　　②利用三维有限元模型（能为齿轮传动系统的动态分析提供大量信息），对存在故障的一级圆柱齿轮传动系统的动态响应进行研究。为研究和评价在相同载荷下不同齿轮故障对传动系统的振动响应的影响，对两种类型的齿轮故障进行三维建模和仿真：齿根处不同厚度的裂纹和齿面不同尺寸的剥落。　　③进一步研究了一些主要缺陷对齿轮啮合过程中的动态响应的影响。建立了用于研究齿轮啮合过程中动态特性的有限元模型，分析和研究了裂纹和剥落对齿轮啮合刚度和固有频率的影响。　　本文对轮齿裂纹扩展路径的预测所得到的动力学仿真分析的计算结果与前人的实验和分析结果基本一致，且齿轮系统振动响应结果能反映整个齿轮传动系统的动态性能，符合期望值。　　本文为齿轮系统动态研究和工程应用提供了一种基本的研究方法，所提出的分析方法也可用于不用类型齿轮的优化设计。