随着对网络服务需求的爆发式增长,光纤通信正朝着超高速、大容量、长距离的方向快速发展。数字相干光传输技术的应用使系统传输容量和传输距离得以提升,传输过程中的线性损伤如色度色散、偏振模色散等都可以通过接收机数字信号处理算法有效补偿,但是光纤非线性效应损伤还不能被低复杂度地有效补偿。同时,随着高谱效的高阶调制格式被越来越多的使用,需要更高的光信噪比保证信号质量,因此需要更高的入纤功率,但是这样会导致严重的非线性效应。因此,光纤非线性效应已经成为限制大容量长距离相干光传输系统性能的主要因素之一。基于自编码器作星座图几何整形以改善系统性能是近年来的新兴研究方向之一,它利用了机器学习的强大学习能力,能够学习到特定信道条件下的最优星座图,而且具有实现复杂度较低的特点。本文围绕着如何利用自编码器作几何整形来抑制光纤非线性效应和提高光调制器的输出功率等问题进行深入研究,主要研究内容如下。1、基于自编码器作星座图几何整形的光纤非线性损伤抑制方案的关键点之一是确定合适的光纤信道模型。本文对主流光纤非线性效应模型—分步傅里叶变换法、高斯噪声模型、改进型高斯噪声模型和非线性干扰噪声（NLIN,Nonlinear Interference Noise）模型进行了对比分析;依据方案机制对光纤信道模型的要求,确定采用能够反映调制格式对光纤非线性影响、准确度较高的NLIN模型作为光纤信道模型。2、针对高阶调制大容量长距离相干光传输系统性能受制于光纤非线性损伤的这一问题,设计了一种基于自编码器作星座图几何整形的光纤非线性损伤抑制方案,主要包括嵌入NLIN非线性模型的自编码器结构与星座图几何整形设计和适用于几何整形星座图的PM-64QAM（Polarization Multiplexing-64 Quadrature Amplitude Modulation）相干光接收机损伤补偿数字信号处理算法设计。该方案通过在自编码器中嵌入NLIN模型使得星座图整形到能够抑制光纤非线性损伤的形状,通过基于直流导频和单边带副载波调制的数字信号处理算法使系统线性损伤补偿等基本功能在几何整形星座图下得以实现。3×32GBaud PM-64QAM波分复用相干光传输系统仿真结果表明,所设计方案能够有效抑制光纤非线性损伤,增大系统最佳入纤功率0.5dB,并且提升误码率2E-2下的入纤功率范围2dB;传输距离延长80km。3、针对光调制器非线性调制特性限制光发射机输出功率从而劣化高阶调制系统性能的问题,设计了一种基于自编码器作几何整形的光纤非线性和光调制器非线性损伤联合抑制方案。该方案通过在自编码器中不仅嵌入NLIN光纤信道模型,还嵌入光调制器非线性特性,使得几何整形后的星座图在抑制光纤非线性损伤的同时,还能够克服光调制器的非线性调制损伤。3 ×32GBaud 64QAM波分复用相干光传输系统仿真结果表明,所设计方案能够有效抑制光纤非线性和调制器非线性损伤,可使光调制器的最大输出光功率提升3dB。