随着光纤通信技术的发展,相干光通信中的高速大容量、长距离传输需求得到越来越广泛的研究。相干光通信系统的传输性能主要受到高斯白噪声和光纤非线性干扰噪声的限制,因此星座整形技术已经被提出来提高频谱效率并且使传输容量接近香农极限。星座整形技术一般分为概率整形（PS）和几何整形（GS）,近年来获得了极大的关注。本文也在已有基础上对星座整形技术进行了研究。本论文主要集中在PS中简化改进多子集分集分布匹配（MPDM）的实现过程和GS中幅度相移键控（APSK）调制格式优化和性能对比,主要研究工作如下:1.首先介绍了概率幅度整形方案的实现过程,由其速率自适应性,实现了不同信源熵、净比特速率相同的多种LDPC编码调制PS-16QAM信号,将其与相同比特速率的均匀16QAM信号在AWGN主导与光纤非线性作用下的下性能进行了对比,验证了PS信号的整形增益。2.阐述了目前理想CCDM存在着复杂度太高的问题,然后我们在MPDM的基础上提出了一种基于概率成对的简化模型。这种划分方法首先选取一个固定分组长度n,仅考虑此时具有概率互补特性的成对分集,随着MPDM中分组长度的增加而减少成分对的搜索,这种实现方法消除了CCDM中恒定成分的约束,在相同分组长度下,简化的MPDM的速率损失得到降低,并且实现复杂性大大降低。我们通过仿真和实验分析了两种分布匹配方法在AWGN主导与光纤非线性作用下的性能。结果表明,简化的MPDM同样能够获得整形增益和更低的速率损耗。3.介绍了几何整形APSK星座的构造方法和比特映射,我们提出一种改进的64-APSK,并通过仿真和实验比较了光纤通信系统下两种64-APSK编码调制信号和方形64QAM信号的传输性能。首先,我们通过枚举法,计算了各种星座图的MED、MPI和PAPR,选取最优的APSK星座。然后,在AWGN主导与光纤非线性作用下进行了验证。仿真结果表明,在AWGN信道下,提出的基于格雷映射的APSK的互信息要优于基于格雷映射的64QAM约0.8 dB。通过实验验证,与均匀的方形64QAM相比,提出的64-APSK在非线性作用较强时仍然可以表现出更好的容忍性。