随着互联网和新兴产业的喷涌而出,通信网络逐渐进入到了流量大爆炸的时代,大数据、云计算、在线教育、网络直播等各种各样的互联网应用对网络带宽的需求在快速增长。数据传输方面对传输速率、传输距离、传输带宽展现了更高的需求,在高速传输的条件下,不可避免地将受到更严重地非线性效应的影响,如何更高效地完成对传输损伤的补偿显得尤为重要。而波分复用系统（WDM）是应用最广泛的传输系统之一,其能够提高信道容量和带宽的特性,也恰恰满足了新一代光通信数据传输需求。本论文重点研究了相干光WDM系统中非线性效应的估计模型、用于非线性补偿的数字反向传输算法和能够提高信道容量和频谱效率的概率整形技术。提出了一种简化的非线性效应估计模型、改良的自适应数字反向传输算法和概率整形与反向传输算法的融合方案。论文的主要工作内容和创新点如下:（1）研究了相干光WDM系统的概念和理论模型,重点研究了相干光WDM系统中的非线性效应,提出了相干光WDM系统的简化噪声估计模型,该方案创新点为大大简化了非线性噪声的计算复杂度,仿真研究了常规光WDM系统与弹性光WDM两种系统中噪声的估计效果,研究结果表明该简化噪声模型在简化了复杂度的同时也很好地对系统中的噪声进行估计。（2）研究了用于非线性损伤补偿的数字反向传输算法,提出了基于二分的自适应数字反向传输搜索方案,该方案的创新点是在未知传输链路参数的情况下,能够通过二分搜索的方式计算出最佳的非线性参数,并大大减少补偿的计算复杂度。仿真对传统DBP算法与所提出的算法进行了对比分析,研究结果表明,所提出的算法可在未知传输链路参数的情况下对传输损伤进行补偿,相对于传统方式有良好的补偿效果,计算复杂度大大降低。（3）研究了概率整形的基本原理,提出了一种基于概率整形和数字反向传输算法的联合补偿方案,该方案创新点在于通过两者的融合补偿,能够在提高传输的信道容量的同时也具有良好的补偿效果。仿真研究了联合补偿方案的传输性能及其影响因子,研究结果表明,在选取合适的参数条件下,该补偿方案能够在接近传输的互信息极限的条件下,同时有着良好的传输性能。