随着薄膜结构被广泛应用于航天领域的充气薄膜天线、大面积太阳帆等大型轻质可展开空间结构，对薄膜结构的非线性后屈曲分析的研究十分必要。采用基于Koiter初始后屈曲理论的降阶方法，同时结合一种改进的弧长算法，对薄膜结构的屈曲失稳现象进行非线性稳定性分析及后屈曲平衡路径的计算。在等几何分析框架下，采用非均匀有理B样条曲面描述薄膜结构，并采用一种可压的neo-Hookean模型描述超弹性薄膜材料的本构关系。基于Koiter的初始后屈曲理论，通过摄动展开得到阶数较低的降阶模型代替原有的有限元全模型，并通过引入屈曲模态和屈曲载荷来跟踪屈曲分支路径，将降阶模型的非线性解作为平衡路径的初始预测，然后，采用一种改进的弧长算法对有限元全模型进行迭代修正，最终实现整个非线性平衡路径的求解。该方法能够准确跟踪结构的屈曲分支，从而可以分析屈曲敏感结构以及含较多密集屈曲模态的结构，并且采用改进的弧长算法可以处理在求解弧长约束方程时出现虚根的问题。数值算例表明：该方法可以准确和高效地预测和分析同时包含极值失稳和分叉失稳的非线性屈曲行为。