调制不稳定性是一种普遍存在于非线性系统中的现象。光学中的调制不稳定性起源于色散和非线性效应的相互作用，其在频域上表现为谱线旁瓣的产生，在时域上使连续或准连续光分裂成一系列短脉冲串。微纳光纤是一种尺度在微纳量级的光波导，通过选择合适的材料和芯径，其具有强的色散和非线性，为研究微纳尺度光波导的调制不稳定性提供了条件。本文将首先研究微纳光纤的模式特性及其非线性传输特性，在此基础上系统研究了微纳光纤中的调制不稳定性。本论文的主要工作包括：本文从麦克斯韦方程出发，研究了常规二氧化硅微纳光纤和具有高折射率薄介电层微纳光纤的模场分布、色散特性以及非线性特性。当入射波长为632.8nm时，具有TiO₂-PMMA T80薄介电层微纳光纤的色散曲线相比于微纳光纤的色散曲线向左平移，零色散点半径以及最大色散点半径都比微纳光纤的要小。具有TiO₂-PMMA T80薄介电层微纳光纤的非线性系数的最大值是微纳光纤的近1000倍，均在光纤的正常色散区。当光纤长度远远大于色散长度以及非线性长度时，非线性长度与色散长度的比值可以用来描述在传输过程中是色散还是非线性占主导地位。当纤芯半径小于150nm时，非线性特性和色散特性对于常规二氧化硅微纳光纤的导波特性都很重要。随后纤芯半径的增加，非线性长度与色散长度比值减小，非线性特性占主导地位。而具有TiO₂-PMMA T80薄介电层微纳光纤的非线性长度与色散长度的比值非常小，脉冲在光纤中传输时非线性特性基本上均处于主导地位。基于非线性薛定谔方程，本文采用传统的线性稳定性分析，研究了常规微纳光纤以及具有高折射率的薄介电层微纳光纤中的调制不稳定性。通过数值计算分别得到了调制不稳定性的增益谱，数值模拟了在常规二氧化硅光纤以及具有高折射率薄介电层微纳光纤中利用调制不稳定性产出规则的高重复率超短脉冲序列，并进行了深入分析。通过数值模拟发现微纳光纤能在很短的传输距离内通过调制不稳定性产生规则的超短脉冲序列。由于调制不稳定性是孤子的前奏，因而微纳光纤以及具有高折射率薄介电层微纳光纤可控的色散特性以及高的非线性特性使得其在孤子领域应用会有很大的潜力。