在自然界和工程技术中,许多问题的动力学方程都可以用非线性力学系统来描述。但是,非线性力学系统复杂的结构会使其表现出比较复杂的动力学行为。因此,研究非线性力学系统的稳定性、分岔和混沌动力学等非线性行为对于科学和工程应用具有普遍意义和实用价值。本文主要利用规范型理论、Melnikov方法、全局摄动法、能量相位法以及广义Melnikov方法,研究非线性力学系统的稳定性、分岔和混沌运动,揭示系统丰富的动力学行为,并用数值模拟来验证理论分析的结果。主要研究内容和研究结果有以下几个方面。第一章,概述了非线性系统的研究现状和研究方法。介绍了非线性系统的稳定性、分岔理论以及研究非线性系统动力学行为的全局摄动分析方法。第二章,研究了1:2内共振和主参数共振条件下,气动热弹性功能梯度材料截顶圆锥壳的全局分岔和混沌动力学。通过多尺度法得到系统的平均方程,采用全局摄动法研究了系统单脉冲Shilnikov型同宿轨道的存在性,并得到了系统出现混沌运动的横截条件。此外,利用Haller和Wiggins提出的能量相位法研究了功能梯度材料截顶圆锥壳的多脉冲同宿分岔和混沌动力学。理论研究结果表明,功能梯度材料截顶圆锥壳会发生Smale马蹄意义下的混沌运动。数值模拟验证了理论分析的正确性,同时也表明结构阻尼、气动阻尼以及面内和横向激励对功能梯度材料截顶圆锥壳的非线性动力学行为有着非常重要的影响。第三章,研究了1:1内共振、主参数共振以及1/2次谐共振条件下,面内激励和横向激励共同作用下碳纳米管增强复合材料矩形板的混沌动力学。利用多尺度法得到系统的平均方程,采用全局摄动法研究了系统单脉冲Shilnikov型同宿轨道的存在性,得到了系统出现混沌运动的横截条件。用能量相位法研究了碳纳米管增强复合材料矩形板的全局分岔和混沌行为,并证明了耗散情况下扰动相空间多脉冲跳跃轨道的存在性。为了验证理论分析结果,用数值模拟给出了碳纳米管增强复合材料矩形板的多脉冲Shilnikov型混沌动力学行为。第四章,研究了1:2内共振和主参数共振条件下具有压电层的简支功能梯度材料压电板的多脉冲全局分岔和混沌动力学。根据所得到的规范型,利用Camassa等发展的广义Melnikov方法探讨了系统的Shilnikov型多脉冲同宿分岔以及由其导致的Smale马蹄意义下的混沌运动,得到了k-脉冲Melnikov函数的零点。理论分析结果表明,压电板可以发生Shilnikov型多脉冲混沌运动。此外,利用数值模拟也分析了面内激励和压电电压激励对系统动力学行为的影响。第五章,利用Melnikov方法分析了亚音速流和外部载荷共同作用下粘弹性板的分岔和混沌运动,得到了系统发生混沌运动的临界条件,详细讨论了混沌特性和系统参数的关系。此外,通过次谐波Melnikov函数得到了系统发生次谐分岔的条件,对于系统无结构阻尼的情况,我们发现系统可以通过无限次奇阶次谐分岔而进入马蹄意义下的混沌。另外,用数值模拟验证了理论分析结果。第六章,利用分析和数值的方法研究了两种频率激励下轴向移动梁的稳定性和分岔行为。利用正规型理论,分析了三种退化平衡点的情形,得到了静态分岔以及Hopf分岔的临界分岔曲线,研究了可能出现的2-D圆环面分岔。此外,给出的数值模拟结果表明其和理论分析结果是一致的。第七章,总结全文并提出了值得研究的问题。