齿轮传动是一种应用最广泛的机械传动。由于齿侧间隙、时变啮合刚度、综合啮合误差和阻尼等因素的存在，从而导致齿轮传动系统动力学行为具有丰富的非线性特性。行星齿轮传动相比于普通的齿轮传动，拥有更高的功重比和更多的传动比，但因其结构复杂，也有着更多振动和噪声的问题。本文以二级齿轮传动系统和拉威娜式复合行星齿轮传动系统为对象，综合考虑影响齿轮系统传动的主要因素，分别建立了二级齿轮传动系统和拉威娜式复合行星齿轮传动系统的非线性动力学模型，并对其进行了数值仿真，得到了系统模型的分岔图、最大Lyapunov指数图、最大动载荷图、冲击状态图、相图、时间响应图、动载荷响应图和FFT图等。基于数值仿真结果，结合非线性理论方法，分别研究了各参数下系统的分岔特性以及系统在时域和频域内的振动特性，分析了各参数对系统振动特性的影响及关联关系，给出各参数选择依据及优选区间。研究结果表明：随着激励频率的变化系统会展现出丰富的动力学行为，由于齿侧间隙等非线性因素的存在，系统还出现了“跳跃”和“激变”等非线性系统所特有的动力学行为，而且“跳跃”和“激变”还是引起齿轮副间动载荷变化的主要因素，有些时候还会导致冲击状态的变化。外载荷逐渐增大时，系统会趋向周期运动，从混沌控制的角度来说，适当的增大外载荷可以有效的控制混沌运动的发生。时变啮合刚度和阻尼也是影响系统的主要的非线性因素，在一定参数范围内刚度越大、阻尼越小，系统越容易产生混沌运动，而混沌运动在实际机械系统中是有害的，因此在齿轮系统的动态设计时要避开混沌运动区域。综合啮合误差为齿轮在制造和安装时不可避免的产生实际位置和理想位置的偏差，这种偏差对齿轮系统是有害的应尽量避免。综合考虑系统的周期运动状态、最大动载荷和齿轮副间的冲击状态，本文得出了在一定参数下系统的理论最佳工作范围，并给出了啮合刚度、阻尼以及齿侧间隙的最优选取方案和区间，为齿轮的动态设计提供了理论基础。