根据对系统模态分析得出的系统固有动力学特性来解释和解决实际问题,是我们进行非线性系统模态分析的主要目的。本文基于Galerkin法通过不变流形来构造非线性系统模态,采用理论分析与数值模拟相结合的方式,研究了一类两自由度分段非线性系统的模态,并对其稳定性进行了分析。主要工作有以下几个方面：首先,明确了本文的研究意义,综述了非线性系统模态分析理论的研究现状、非线性模态与线性模态相比较所具有的特点以及非线性模态分析中存在的问题及未来的研究方向,并对本文研究的主要内容进行了说明。其次,对非线性模态及非光滑动力系统基本理论进行了详细介绍。给出了关于非线性模态的三种定义,并对构造非线性模态的方法进行了描述,重点讨论了基于Galerkin法由不变流形构造非线性系统模态的方法。该方法以Shaw和Pierre提出的非线性模态定义为基础,运用不变流形理论,结合Galerkin法求出相应约束关系式,得出系统的不变流形方程,进而得到系统的不变流形,构造出系统的非线性模态。文中以弹性碰撞振动系统为研究对象,建立动力学模型,应用Floquet特征乘子法和Poincare映射对该系统的动力学特性进行了分析,并给出用Galerkin法构造分段线性系统模态的具体过程及该方法具备的优势。最后,对一类两自由度含间隙的非光滑弹性碰撞系统模型在自由振动状态及有阻尼强迫振动状态下的模态进行分析。在建立系统动力学模型的基础上,采用基于Galerkin法以不变流形来建立系统非线性模态的方法,构造出系统的一阶及二阶不变流形,并进一步分析系统各阶模态的动力响应。通过数值仿真,得到了各阶模态的相位图及幅频响应曲线,并应用特征乘子法和Poincare映射的方法对系统模态进行了稳定性分析。