基于陀螺与星敏感器组合的姿态估计系统，广泛地应用于对姿态估计精度要求较高的航天器。由于航天器姿态估计模型呈现出较强的非线性特性，姿态估计一般使用非线性滤波算法。这些算法往往是卡尔曼滤波器的扩展形式。基于高斯滤波框架下的非线性卡尔曼滤波算法是在假定系统噪声和量测噪声均为高斯白噪声前提下获得滤波解。然而，从航天器的动态模型的推导方程式或从离散形式的航天器轨道运动学方程可知，姿态估计系统的噪声的概率密度并非服从高斯分布。并且受姿态敏感器的影响，量测也存在不确定性。基于这方面的考虑，同时这也是实际应用中亟需解决的问题，本文研究了适用于航天器姿态估计的自适应滤波算法、鲁棒滤波算法以及粒子滤波算法。
　　针对姿态估计系统中星敏感器的姿态信息输出存在量测丢失等不确定性特性，本文推导了一种修正的无迹四元数姿态估计算法。建立了带不同丢失速率的姿态估计模型，给出了基于四元数与三参数的滤波过程，并从理论上基于李雅普诺夫函数验证了所设计的算法的随机稳定性，同时对误差协方差的有界性进行了分析。从稳定性分析中发现丢失速率对滤波稳定性的影响，并依据推导出的数学不等式提出了添加调节因子的方案。针对量测丢失存在与否两类仿真情形，设计了两种的调节方案和调节因子。仿真实验中测试了小角度初始条件误差与大角度初始条件误差的情形，同时考虑了不同的丢失速率的情况，实验结果表明所设计的算法具有更好的估计性能。
　　针对姿态估计模型存在动态或量测模型误差以及非高斯噪声的情况，本文分别提出了基于最优自适应因子的自适应鲁棒容积卡尔曼滤波算法，基于多渐消因子的自适应鲁棒容积卡尔曼滤波算法和基于加性四元数的非线性姿态估计算法。其中，最优自适应因子基于预测残差的估计协方差矩阵推导求得，多渐消因子基于强跟踪算法并考虑了姿态模型的量测矢量进行推导设计，基于加性四元数的滤波算法采用了基于Huber的鲁棒滤波方法和基于随机渐消因子的自适应滤波方法。仿真实验中，基于四元数与三参数切换的自适应鲁棒算法分别在五种情形下与传统的姿态估计算法和文献中的自适应鲁棒算法进行了对比，所提出的算法优势明显，且具有更高的估计精度和良好的鲁棒性。基于加性四元数的滤波算法同样作了多组实验对比，并且对滤波参数的选择也做了实验分析。仿真结果表明，所提出的算法在设定的仿真条件下对比现有的算法具有更好的鲁棒性和更高的估计精度。
　　针对粒子滤波应用于姿态估计系统中存在粒子退化与贫乏问题，本文提出了一种适用于姿态估计系统的自适应遗传粒子滤波算法。采用高斯滤波算法在粒子滤波器框架内生成重要性提议分布，在重采样前，采用遗传算法步骤中的交叉和改进的变异策略来改善粒子的多样性。提出的自适应策略可以自动的确定所设计算法的变异概率。仿真实验表明，所提出的自适应遗传粒子滤波算法在单变量增长模型和综合实验中表现突出，对比基准算法和其它粒子滤波算法具有更好的滤波性能。对自适应遗传粒子滤波算法进行正则化处理后，所设计的算法在较大的初始条件误差情形下性能优于其它姿态估计算法。