在过去的几十年里，随着科学技术的进步和理论研究的不断深入，非线性问题已经受到人们广泛的关注.而非线性动力学的研究主要集中在分岔，混沌和孤子这三个方面，由于非线性方程的精确解很难得出，所以寻求近似解的方法变得至关重要.目前研究非线性问题的方法主要有摄动法、谐波平衡法、多尺度法、同伦分析方法等.　　本文主要研究了几类耦合非线性动力学系统的动态响应行为.第一章介绍了非线性动力学的研究背景以及同伦分析方法、多尺度方法和多频同伦分析方法应用于非线性系统的研究现状.第二章采用多尺度方法和同伦分析方法研究了具有参数激励van der Pol系统的主共振.首先研究了内共振比值不同时耦合系统的非线性动力响应.并用多尺度法得到了直角坐标系下的四维平均方程，从而发现系统存在周期运动;其次，利用同伦分析方法，得到四组周期解，其中两组正向周期解和两组反向周期解.最后，我们发现通过这两种方法得到的频率响应曲线是吻合的.第三章运用多频同伦分析方法研究二自由度非线性耦合Duffing系统.一方面，我们通过构造用多频同伦分析方法求解两自由度非线性动力系统的步骤，得到了Duffing系统单倍周期解和二倍周期解;另一方面，我们发现利用多频同伦分析方法得到的周期解和利用四阶Runge-kutta法得到的数值解是吻合的，从而，说明多频同伦分析方法是适用于二自由度耦合非线性系统的.第四章通过欧拉方法将Duffing方程转变成了离散非线性动力学系统，分析了其混沌行为.