随着美国“深空1号”任务的成功，旨在探索宇宙奥秘及揭示生命起源的深空探测活动在近年来受到各国航天机构的重视。深空探测航行具有距离远、航行的时间长，转移轨道、保持轨道和转换姿态等在轨运行的精度要求高、操作次数多、难度大等特点，对完成探测深空任务的每个关键技术都提出了新的要求，其中尤为重要的是其导航定位技术。作为深空探测的关键技术，自主导航技术的稳定性和精确性直接影响到各项科学考察任务的实施，如何寻找有效的自主导航方法成为深空探测研究中的重要课题。本论文针对深空探测航行中时间较长的巡航段和交会段，对基于视线矢量的轨道确定进行了几何和数值上的可观测性分析，研究了利用视线矢量进行状态估计的可行性；对探测器的动力学方程进行建模，并讨论了惯性坐标系、相机坐标系和像元像线之间的转换公式；研究并实现了基于小行星轨道信息的轨道重建和仿真；对于巡航段的自主导航主要讨论了基于太阳视线矢量及其与径向速度融合的滤波算法，以及基于小行星图像信息的导航滤波算法；交会段主要讨论了基于太阳视线矢量的导航算法及相对视线矢量的简化算法；使用UKF（无迹卡尔曼）和EKF（扩展卡尔曼滤波）进行滤波估计，并在EKF算法中加入了UD分解提高稳定性和精确度，并对各种算法进行了仿真。本文的研究工作主要集中在以下几个方面：1）研究了深空自主导航系统的可观测性分析方法。针对深空环境的特点，利用几何方法给出了不同观测信息对应的探测器位置面；通过取观测方程对状态变量的偏导数，利用解析方法定性分析了自主导航系统的可观测性，给出了状态变量的可观测度分析方法。2）研究了基于太阳观测的深空巡航段自主导航方法。对于以太阳视线矢量为观测量的自主导航系统，给出了一种利用太阳视线矢量测量的轨道确定方法；同时，对太阳视线矢量与径向速度组合测量的基于太阳信息自主导航方法进行了分析和仿真；对基于小行星轨道信息的轨道仿真重建进行了研究；研究基于UD分解的EKF滤波算法和UKF滤波算法来确定探测器轨道并进行了仿真分析。3）针对深空探测巡航段，研究了基于小行星图像信息的自主导航方法。对于惯性坐标系，相机坐标系和像元像线之间的转换进行了讨论；以小行星图像提取出的视线矢量为观测量，分析导航小行星筛选准则，并利用导航小行星列表，通过基于UD分解的EKF滤波算法来确定探测器轨道并进行了仿真分析。4）研究了小天体探测任务接近交会段的自主导航方法。建立了接近段自主导航系统的状态方程和观测方程；考虑到目标天体的星历信息，分别研究了以相对视线矢量和太阳视线矢量为观测量的自主导航方法；针对交会段，给出了简化的相对运动轨道动力学模型，，进而给出了一种基于相对视线矢量的导航方法。通过基于UD分解的EKF滤波算法和UKF滤波算法来确定探测器轨道并进行了仿真分析。