行星齿轮传动在民用、军用领域被广泛应用，因其长期处于高速重载的工作环境，寿命大大降低，且故障发生率较高，因此实现及时诊断、排除故障的需求也愈发迫切。然而对行星齿轮的故障机理研究目前还很匮乏，舰船领域尤为鲜见，因此迫切需要针对行星齿轮故障机理及其特征开展深入研究。首先在三维软件SolidWorks中完成行星齿轮系统的几何建模，并在多体动力学软件ADAMS中考虑了运动副、接触力和驱动，完成行星系统刚体动力学建模，然后通过在刚体动力学模型中引入柔性体的方法，建立了行星齿轮系统刚柔耦合模型。从单对人字齿齿轮入手，比较刚体模型、刚柔耦合模型和纯柔体模型在运动仿真后响应的不同，通过对比断齿前后动力学响应提取总结了单对齿断齿故障特征。对某船舰用行星齿轮系统进行刚柔耦合仿真，并对含有断齿故障的行星齿轮系统进行了动力学仿真模拟，在太阳轮出现断齿时将太阳轮和行星架设置为柔性体，重点考虑运动仿真中这两个部件的变形。将断齿前后的动力学响应采用快速傅里叶变换，在频谱图上分析比较故障发生后接触力及柔性部件和刚性部件加速度谱，总结分析了行星齿轮断齿的故障特征和对应的故障频率。