本篇论文主要研究两个方面的问题,第一方面是针对分段仿射系统的同(异)宿轨道的存在性及其诱导的分岔和混沌现象的定性研究。分段光滑系统有很强的应用背景,得到越来越多学者的重视,但是分段光滑系统的理论体系还不完善,如高维分段光滑系统同(异)宿轨道存在的条件、周期解存在的条件、混沌现象产生的机理等,因此本文的第一部分将致力于这些基本问题的研究。本文的第二方面将研究连续时间自治系统的一些复杂动力学现象：主要是利用理论和数值计算相结合的方法,研究一致双曲混沌不变集和“胖分形”这两类复杂动力学行为在三维自治系统中的存在性及其验证方法。一致双曲混沌不变集在微分同胚中常常被发现,比如Smale马蹄、Anosov环面同构等,而“胖分形”这一有趣的动力学现象也能在一些保守微分同胚映射中出现,比如‘’Chirikov-Taylor标准映射”等,但是针对三维自治常微分方程,这两种动力学现象却极少被发现,本文的第二部分将致力于这两类动力学行为在自治常微分方程中的寻找和验证。本论文的结果如下：(1)针对含至少一个鞍点的三维分段仿射系统,利用平面线性系统轨线与定直线之间的位置关系以及鞍点的稳定流形、不稳定流形与切换流形之间的空间位置关系,给出该系统同宿轨道存在性的一个简洁的向量式的充分必要条件。同时针对含一条同宿轨的分段仿射系统,研究了同宿分叉现象,给出分岔出周期解的特征值条件,并给出周期解为汇、源、或鞍型的充分条件,从而将Wiggins关于光滑系统同宿分岔的部分结论推广到分段光滑系统中,且得到了一些不尽相同的结果。(2)研究了一类含两个容许鞍点的分段仿射系统三种类型异宿环和混沌不变集的存在性。利用平面线性系统轨线与定直线之间的位置关系给出了该分段仿射系统的三类异宿轨道存在的充分条件及其解析证明。进一步,将异宿环的存在性结果与Shil’ nikov混沌理论相结合,分别给出了两类不同的分段仿射系统拥有无穷混沌不变集的充分条件,并利用拓扑马蹄理论给出了混沌不变集存在的解析证明。本部分的部分结果可看成是Shil’ nikov的混沌理论在分段光滑系统上的推广。(3)针对生态学中经典的HP-模型(该模型由Hastings和Powell在1991年根据实际提出),综合利用拓扑马蹄理论和Conley-Morse条件,并结合数值计算,研究该模型的混沌不变集的存在性及其一致双曲性,并最终获得该系统存在一个一致双曲的混沌不变集。从而为三维自治系统存在一致双曲混沌不变集提供了一个实例。根据Conley-Morse条件设计的验证不变集双曲性的计算方法可推广到其它模型中。(4)研究了Nose-Hoover振子的复杂动力学现象,该振子的行为方程为三维二次多项式自治系统。通过数值计算并结合动力系统理论和扭结理论,许多均值保守区域被发现,这些区域被各种各样扭结型的不变环面充满,来自于不同保守区域的不变环面相互缠绕在一起并嵌入在混沌海洋中。研究结果表明该振子拥有“胖分形”动力学结构。据作者所知,在非哈密顿系统,尤其是三维自治系统中,这种“胖分形”结构是极为少见的。