随着对互联网相关业务需求的爆发式增长,光纤通信正朝着超高速、大容量、长距离的方向逐步发展。相干光传输的出现使得系统的带宽利用率和接收机灵敏度大大升高,以此为背景,光纤非线性损伤已经成为了限制长距离传输系统性能的主要因素。本论文主要研究了几种相干光传输系统中的非线性损伤补偿算法,论文的具体内容如下:首先,介绍了研究光信号在光纤中传输的基础——非线性薛定谔方程的原理,以及各种非线性效应对信号产生的影响,给出了设计非线性补偿方案的理论基础。介绍了使用数值方式解非线性薛定谔方程(NLSE)的分步傅里叶法(SSFM)和有限差分法,为数值仿真提供了基础。随后,介绍了数字背向传输(DBP)算法的基本原理,建立了使用Matlab软件分析算法性能的仿真系统。通过仿真验证了 DBP对光纤非线性损伤的补偿作用,并分析了算法步长对算法性能的影响,说明了由于过多的快速傅立叶变换(FFT)操作使得算法复杂度过高,因此采用等于跨段数的补偿步数是一个较为合理的方案;同时,通过对比算法在QPSK和16QAM系统中的性能,说明高阶调制格式由于噪声容忍度的限制将使算法补偿效果变差;对于引入了色散管理的传输链路,越大的残余色散将获得更好的算法性能。另一方面,仿真均通过在运算中加入非线性补偿因子ζ以达到最佳的补偿效果,文中也从数值计算的角度概述了引入ζ的目的与其变化趋势。其次,介绍了分析时不变非线性系统的数学工具——沃尔特拉级数(VS),并结合NLSE介绍了基于逆沃尔特拉级数传输函数(IVSTF)的频域沃尔特拉级数均衡器(VSNE)。频域VSNE相比DBP算法的优势在于它的线性部分与非线性部分是并行的,因此在同样的处理速率下更节省时间。通过仿真比较了相同情况下频域VSNE同DBP算法的不同,发现在较高功率的区域频域VSNE的效果略逊于DBP,但其并行的处理结构使其具有独到的优势。基于VS还可设计另一种时域的非线性电均衡器(NLEE),它不同于需要知道完整系统参数的DBP和频域VSNE,只需要在接收端自适应地利用发送的已知的训练序列求出VS的核函数,就能够相应地补偿信道的非线性损伤。文中通过仿真验证了该NLEE对于系统参数的透明性,发现它将在单模光纤中传输了 1600km、1760km和1920km的信号的Q值分别提升了0.8dB、0.7dB和0.6dB。同时,分析了不同延迟抽头数的NLEE的补偿效果及其原因。最后,简要介绍了近期受到广泛关注的基于光纤微扰模型的微扰预失真(PPD)算法和共轭光传输方案。