目前,高速光传输系统正在向着单信道40Gb/s的方向发展,信道容量提高的同时,所带来的传输损伤也更加严重。高级光调制技术作为高速、长距离光传输系统的关键技术之一,可以明显减轻系统的传输损伤,并且不需要对现有的传输线路作大的修改,具有很高的商业价值。现今10Gb/s系统中普遍采用的OOK调制格式已经难以满足更高速率系统性能的要求。本文针对40Gb/s高速光传输系统中的相位调制格式和幅度相位联合键控调制格式进行研究。首先研究了不同相位调制格式的调制接收原理,仿真分析了其传输特性以及由接收机频率失谐、移相误差、延时误差所带来的系统性能影响;然后研究了幅度相位联合键控调制格式的调制接收原理,仿真分析了其传输特性,并就自相位调制(SPM)对幅度相位联合键控调制格式相位支路的影响展开深入分析;根据自相位调制影响相位支路性能的原因——非线性相移,提出了非线性相移的预补偿方式,通过仿真验证了其有效性,并推导出了相位预补偿量参考公式。