光纤系统向高速、大容量、长距离方向发展的同时也给光信号带来严重的传输损伤,高级的光调制格式作为新涌现的先进的传输技术之一,可以极大地减轻系统的传输损伤,并且不需对现有的传输线路作大的改动,简单方便。而当前主要问题是,如何在众多的光调制格式中,权衡利弊,以寻求一种或几种在某种环境下最佳的调制格式。本文对此问题展开深入研究。首先研究当前高速光传输系统中各种调制格式的调制解调原理,对各种调制格式进行分类,总结了其优缺点,并提出改进建议;然后对各种调制格式抗传输损伤(包括噪声、色散、偏振模和非线性)的性能进行分析和仿真,从理论分析和仿真结果中得出,基于相位调制的调制格式是性能最优、应用前景最好的一类调制格式;最后本文理论分析了相位调制格式的相位噪声统计特性,指出相位调制中噪声概率分布与传统的噪声概率分布的不同,非线性相位噪声是多个服从非中心的卡方变量和的分布而非传统的高斯分布。