随着空间技术的突飞猛进，在太空执行任务的卫星数量急剧增多，卫星的安全、长久运行是目前主要关心的问题。卫星的位姿确定是其安全、长久运行的基本前提。在执行交会对接和捕获等复杂的在轨服务任务时，卫星不仅要确定自身的位姿，还要确定与目标卫星之间的相对位姿。因此，对在轨服务卫星的自主导航和相对导航进行研究有十分重要的意义。本文以此为背景，其主要内容研究如下:　　首先，研究了基于GNSS的卫星自主定轨方法。研究了GNSS的导航原理，分析了GNSS导航星可见性和GDOP，并提出了基于GDOP贡献的选星算法。建立了基于GNSS卫星定轨的数学模型，并通过扩展卡尔曼滤波(EKF)算法和鲁棒卡尔曼滤波（REKF）算法验证了其可行性。结合实验分析可知，REKF算法相对EKF算法在故障情况下具有鲁棒性，但在初始状态估计误差较大情况下不具备快速收敛性，为了改善REKF算法的性能，本文提出了基于故障检测的改进REKF算法，并对其进行仿真验证。　　其次，研究了基于磁强计/陀螺的卫星自主定姿方法。介绍了磁强计和陀螺的测量原理，建立了基于磁强计/陀螺定姿的数学模型，并通过改进REKF算法进行了仿真验证。改进REKF算法在姿态确定方法中的性能相比EKF算法和REKF算法更具优越性，其兼具快速收敛性和鲁棒性。由于姿态确定方法中需要位置信息，本文设计了基于GNSS定轨和基于磁强计/陀螺定姿的串联位姿确定方案，并验证了其正确性。　　接着，研究了基于立体视觉的相对位姿确定方法。推导了相对位姿运动模型，构建了基于观测目标卫星特征点的立体视觉测量模型，并通过EKF算法进行了验证。为了提升系统的性能，将改进REKF算法应用到基于视觉的相对位姿确定系统中进行仿真实验，并验证了其有效性。　　最后，设计了在轨服务卫星的可视化导航仿真系统。研究了构建仿真系统的组件，尤其是STK二次开发组件;根据系统的需求分析进行了模块划分和结构设计;设计了仿真系统的各个模块;对可视化导航仿真系统进行实验测试，验证了其可靠性。