在各类通信技术中，光纤媒质所具有的传输带宽大、传输损耗低、抗干扰能力强等特点，使光通信技术始终在通信基础网络建设中占据着主导地位，并承载着通信网络中80％以上的信息流量。其中，WDM超长距离传输系统通过使用密集波分复用(DWDM)和高速时分复用(ETDM)，能够有效降低每比特每公里的价格，同时保持系统的灵活性和弹性。 目前WDM超长距离传输系统面临着许多极限性的挑战，如光信噪比(OSNR)低，色散、非线性效应影响严重，存在串扰等等，需要综合采用各种先进的技术来克服这些障碍。而其中一项关键技术就是采用新型光调制技术。 首先，本文对光调制格式的基本概念进行了描述，并从信息携带的角度对光调制格式进行了分类，并列出了当前一些在大容量长距离Tb／s级的传输实验中所使用的调制格式。 然后，介绍了与光调制格式相关的器件及其数学模型、仿真算法，并介绍了我们在matlab软件平台上所构建的单信道传输仿真系统和WDM超长距离传输仿真系统。 随后，本文介绍了两类主要的光调制格式：基于强度调制的光调制格式和基于相位调制的光调制格式，包括：NRZ、HRZ、FRZ、CSRZ、SSB、AM-PSK、PBST，和HRZ-DPSK、FRZ-DPSK、CSRZ-DPSK、DQPSK。详细分析了这些调制格式的原理，发射机与接收机结构，并分别给出了它们在发射端、经过单信道传输和经过WDM超长距离传输后的眼图与频谱。同时利用仿真中求得的误码率，对所研究的光调制格式进行了全面的比较和分析。 最后，针对WDM超长距离传输系统中完全不等间隔信道指配问题，本文研究了一种启发式算法(粒子群算法，PSO)，通过对这种算法深入理解和讨论，本文提出了一种改进策略，能够有效的避免过早落入局部最优中，又能保持算法的简单性。