近些年来,随着互联网新兴应用和商业应用对带宽的需求不断增加,解决高速光通信系统中的数据传输及其损伤补偿问题显得尤为迫切,基于相干接收技术的光通信系统得到研究者的广泛关注。相干检测技术具有灵敏度高和频谱利用高的优点,且传输系统可以使用高级的矢量调制格式,有效提高系统传输容量,补偿传输链路中受到的各种线性和非线性损伤,进一步增大传输距离。本文通过广泛查阅资料,重点研究了高速相干光通信系统中基于DSP的信道间非线性补偿算法,主要研究内容有:首先,本论文述说了选题背景和研究价值,论述了相干光通信系统中的发展历史与未来前景,研究了基于DSP相干接收技术组成结构、核心算法;然后,本论文详细研究了多信道下的色散和非线性效应影响和建模分析,针对信道间的交叉相位调制均衡方案,深入分析了 A-SSFM、S-SSFM、M-SSFM和I-SSFM结构的均衡算法及其补偿性能,引入走离效应,研究了 WDM信道间色散非线性的联合补偿方案,比传统的线性补偿算法提高了大约4dB的Q值,并提出优化的动态均衡算法。最后,从步长和BP算法结构角度入手研究了 WDM系统DBP的改进方案,仿真分析了不同步数、不同传输步长对系统性能的影响以及寻找最低误码率下的最佳反向传输距离算法,经15次迭代后搜索算法收敛到100km的传输距离,在此最佳反向传输距离上应用DBP均衡算法可以得到较低的BER,并且OSNR越大时优势越明显;后面我们又将CBP算法应用于WDM的信道XPM均衡中来,极大增加步长取值,进一步降低系统BER。