社会信息化和通信业务量的持续增长，导致光纤通信系统正朝着高速率、大容量、长距离的方向发展。随着单信道传输速率的提升，光纤中的色散和非线性效应等因素对光纤通信系统的影响越来越大，而新型光调制格式可有效地减轻这些传输损伤，成为高速光通信系统的关键技术之一。在波分复用(WDM)系统中，随着信道间隔的减小，四波混频效应越来越显著，已经成为限制WDM系统性能的主要因素，因此，研究四波混频(FWM)效应对于提高光纤通信系统的性能具有重要的意义。本文首先总结了当前高速光纤通信系统中不同调制格式的调制与解调原理；其次，给出光纤传输系统的性能评价指标，建立单信道40Gb/s的光调制格式仿真系统模型，仿真研究若干调制格式的抗色散性能、抗非线性性能和传输距离限制；研究结果表明，频谱宽度窄的调制格式抗色散性能强，相位调制格式的抗非线性性能优于强度调制格式。论文还研究FWM的产生机制及其对WDM系统性能的影响与抑制FWM效应的方法，仿真研究信道间隔与FWM之间的关系；研究结果表明，信道间隔小会增加FWM串扰，而且中间信道的误码率高，采用不等间隔信道设置可以降低系统的整体误码率。最后，作者总结全文。