随着科学技术的飞速发展，我们所面对的系统的复杂程度越来越高。由于系统中非线性和不确定性等因素的存在，以及对系统性能要求的不断提高，对系统的分析和综合手段提出了更高的要求。其中，非线性滤波方法近年来已成为国内外研究的热点。在凸优化问题里，任何局部极值点都是全局极值点，并且当凸优化问题为严格凸优化时，它的全局极小值点是唯一的。因此，如果待求解的问题能表示成为凸优化问题，则能够很好地避免算法初始化、搜索步长选择和陷入局部极值等问题，并且可以获得该问题的全局最优解。正是因为凸性具有很多的优良特性，当采用凸优化方法解决非线性滤波问题时，可以从滤波组合和非线性回归的角度进行分析，把系统线性与非线性特性转化为凸与非凸问题，从而能够使问题的求解得到简化。因而开展基于凸优化的滤波理论研究，改进凸优化滤波方法具有重要的现实意义。本文结合组合优化算法、统计学习理论的方法和多模型系统，针对惯性导航系统中非线性滤波算法及其工程应用中存在的问题，从以下五个部分进行深入研究：针对非线性系统状态滤波问题，在凸优化的基本理论框架下，研究了Lagrange对偶和最优性条件。在此基础上，把非线性滤波问题转化为凸二次优化问题，并对凸线性组合在动态系统滤波中的应用进行了理论推导，得出组合之后的滤波效果优于未经组合的单一滤波方法的结论。这也为本文的后续研究奠定了基础。研究了采用支持向量机进行非线性滤波的方法，该方法本质上是求解凸二次优化问题。为了提高求解的实时性及降低求解的复杂程度，本文提出一种最小二乘支持向量机算法，该算法用解线性等式来代替求解标准的支持向量机凸二次优化问题。针对惯性导航系统的初始对准问题，本文研究了凸组合方法在非线性滤波中的应用，提出了利用多组支持向量机以凸线性方法组合起来并行滤波，再通过第二层支持向量机进行线性回归的方法求得组合系数，得到有两层结构形式的凸线性组合支持向量机。针对解决非线性滤波的实时性与稳定性问题，本文提出了一种新的基于凸优化的自适应联合滤波算法，解决了由于系统环境复杂多变，噪声的分布特性具有不确定性而产生的系统精度降低甚至容易发散的问题。通过对SINS/CNS/GNSS组合导航系统进行自适应融合处理，实现了动态系统的实时滤波。仿真验证了算法的可行性和有效性。研究了组合导航H2/H混合滤波。针对系统的不确定性和噪声的非高斯性，提出了基于凸优化的自适应H2/H混合滤波算法。该算法基于凸优化的方法来实时地调整滤波增益矩阵，实现H2和H滤波的优势互补，具有更好的鲁棒性。该算法是基于多模型滤波算法的一个特例，是一种新的自适应滤波方法。