随着互联网技术的发展,各类高清视频、虚拟现实体验、云服务、智慧城市、人工智能等高速大带宽业务层出不穷,网络流量呈现出持续增长的态势。为了进一步提高光纤通信中的速率、容量、频谱利用率等性能,需要进一步增加网络整体容量,有三个自然地或直接的选择:一是增加符号传输速率,二是增加信道数,三是提高单波长信道的传输承载能力。简单增加符号传输速率不是较好的选择,因为容量限制且频谱效率没有改变,此外,更快的符号传输速率提高了相关光电器件的要求。在给定的目标传输速率和传输距离条件下,可以根据调制格式和可调参量选择合适的信道数以优化整体网络容量。在信道数一定的情况下,如何最大程度的提高单信道载波的传输承载能力使之尽可能的接近香农极限成为了目前广泛研究的热点。其中,调制格式优化技术通过对调制信号的发射功率、调制维度等方面进行优化,可实现更快的传输速率及更高的频谱效率,主要包括星座整形技术以及多维调制等,是实现信道香农极限的关键技术之一。本论文在研究光通信系统中调制理论以及相关关键技术的基础上,从不同的应用环境及通信需求出发,重点研究了适用于相干光通信系统和IM/DD通信系统中的几何整形、概率整形以及多维调制等相关调制优化技术,以进一步提升单载波信道的信道容量。本文主要的研究工作和创新点如下:1.联合K-Means算法的自适应加权几何整形GS-MQAM相干光传输方案为了减轻由非线性效应引起的星座图外层星座点发生重叠而导致误码的现象,提出了自适应加权的几何整形GS-MQAM相干光传输方案。在研究长距离光纤通信信道中的非线性效应及几何整形相关理论的基础上,提出了一种自适应加权的几何整形GS-MQAM的星座设计方法,该方法通过引入与克尔效应及光纤传输距离相关的自适应加权因子,能够针对不同的传输距离自适应变化,减少由非线性效应引起的外层星座点的重叠问题,从而改善系统的传输性能。此外,为了进一步提高系统对高光功率和非线性的容忍度,进而在一定程度上增加光纤传输距离,联合无监督的K-Means聚类学习算法,提出了联合K-Means聚类算法的几何整形优化传输方案。研究结果表明,所提出的自适应加权几何整形算法在调制阶数较高时获得的增益更大,更适用于高阶调制中,提出的联合K-Means算法的GS-61QAM优化方案在120 Gbit/s净速率及SD-FEC的误码判决门限为2×10-2下传输时,与自适应加权几何整形优化方案以及常规的64QAM相比,光纤传输距离分别增加了约60 km以及450 km。2.几何概率混合整形优化相干光传输方案针对长距离光纤传输中高阶调制信号的非线性效应随着光纤传输距离的增加而累积导致的传输信号劣化严重的问题,研究能进一步降低信号发射功率的星座整形技术。在自适应加权几何整形的基础上,联合概率幅度整形算法,提出了联合概率整形的混合整形优化传输方案,进一步降低星座图的平均能量,减小信号的发射功率,从而提高系统的传输性能,进一步逼近香农极限。研究结果表明,所提出的几何概率混合整形优化传输方案在OSNR为23dB下传输16×75km时,与几何整形优化方案以及常规的64QAM相比,MI增益分别约为0.3 bits/symbol 与 0.7 bits/symbol。3.基于几何整形的二维CAP信号IM/DD传输方案针对IM/DD通信系统低成本低功耗高集成度等的特殊需求,在研究CAP调制与几何整形原理的基础上,提出了一种低复杂度的16CAP二维星座设计方案,通过改变星形星座中不同幅度的同心圆环的星座点数目以及相邻圆环的星座点的相位差,找到最小欧式距离最大时平均能量最小的星座图,以提升星座增益指数。此外,提出了基于误符统计的准格雷编码映射方案,进一步提升系统的误码性能。实验结果表明,所提出的准格雷编码映射的二维GS-16CAP相较没有准格雷编码映射的二维GS-16CAP与传统的格雷编码映射的星形二维16CAP,分别获得了约0.6 dB与1.4 dB的接收灵敏度增益。4.基于几何整形的三维CAP信号IM/DD传输方案为了进一步提升IM/DD通信系统的传输性能,在研究多维CAP调制技术的基础上,提出了一种基于棱锥体结构的三维几何整形CAP信号IM/DD传输方案。该方案通过三维空间中相邻星座点的欧式距离固定的棱锥体结构,充分发挥高维空间的星座几何整形优化潜力,在最小欧氏距离固定的条件下,尽可能的降低星座的平均能量,提高星座增益指数,进一步提高系统的传输性能。实验结果表明,所提出的3D-GS-16CAP与传统的基于正六面体结构的3D-16CAP相比,获得了约0.4 dB的接收机灵敏度增益。