小天体在太阳系中广泛存在,数量占已知天体的绝大多数,兼具科学研究与工程探测价值。小天体的复杂引力场,使其附近的轨道运动具有丰富的非线性动力学特征,对于轨道设计与分析都很有挑战。小天体的不规则形状是导致引力场复杂的主要因素之一,本文引入了形状熵来定量描述小天体形状的规则程度,提出了用频率熵对小天体附近的拟周期轨道进行定量分析的方法。另外,还对太阳引力摄动影响下小天体附近周期轨道搜索,周期轨道延拓中的多重分岔及轨道稳定性突变现象进行了研究。为了用单参数定量描述不规则体与球体的差异,本文定义了形状熵,计算了19个小天体模型的形状熵指标。通过与惯量指标的比较说明,形状熵指标更加精确地描述了小天体与球体的相似程度,可以据此对小天体分类。本文研究了太阳引力摄动对小天体附近周期轨道的影响。首先,分析了太阳引力摄动在小天体附近的变化规律,研究了太阳引力摄动对周期轨道的影响规律;其次,推广了小天体附近周期轨道搜索方法,新发现了爱神星(433 Eros)附近12个周期轨道族并分析其稳定性与拓扑结构;最后,应用偶极子模型辅助初值筛选,提升了周期轨道的搜索速度。本文给出了周期轨道延拓中多重分岔组合,发现了延拓中轨道稳定性交替变化现象,推广了周期轨道延拓分岔理论,并在爱神星附近周期轨道延拓中得到印证。另外,在轨道延拓中发现,轨道形态突变在雅可比积分—轨道周期关系图上对应着斜率突变。根据文献仿真结果,艾女星(243 Ida)附近轨道也存在稳定性交替变化,利用艾卫(Dactyl)围绕艾女星运动的轨道根数进行计算和分析,推测出艾卫应该在轨道稳定区域内作拟周期运动。本文提出了轨道频率熵指标,给出了不同轨道频率熵之差的理论公式,可以定量分析轨道周期性强弱,并分别应用于艾女星、格勒夫卡星(6489 Golevka)附近轨道的定量计算分析。在Hénon-Heiles系统与圆限制性三体系统中的仿真表明,在区分动力系统中周期、拟周期、混沌等不同运动上,相比于正交快速李亚普诺夫指标,频率熵可以给出更多信息。