相干光正交频分复用(CO-OFDM)技术作为一种高效的多载波调制技术,结合了 OFDM技术与相干光通信系统的优势,拥有频谱利用率高、色散容忍度强、数字信号处理易于实现等特点,是下一代超高速长距离光传输系统中潜在解决方案之一。但同时,CO-OFDM系统由于激光器线宽等因素不可避免地会致使相位噪声的引入;并且针对信号传输过程中存在的各种信号损伤,CO-OFDM系统为了更好地恢复初始信号,需要进一步提升接收端均衡算法的效果。本文以一种频谱利用率较高的零保护间隔(ZGI)CO-OFDM系统为研究基础,提出一种基于环形16QAM(C-16QAM)的调制格式,并与传统方形16QAM的传输性能进行比较与分析;之后,基于ZGI CO-OFDM系统,进行了信道估计与相位噪声补偿的算法改进。本文主要的研究工作可以分为以下几点:(1)由于CO-OFDM系统具有相位噪声敏感的问题,对比传统的方形16QAM,本文采用一种具有相同最小欧氏距离的C-16QAM作为调制格式。此外,针对CO-OFDM系统在信号传输时,发射端所添加的大量循环前缀(CP)明显增加了系统开销且大幅降低了系统的频谱利用率,在本文中采用ZGI CO-OFDM系统来解决这一问题。之后,从信道估计、相位噪声容忍度、色散容忍度三个方向对两种调制格式在ZGI CO-OFDM系统中的性能差异进行分析,且仿真结果表明,C-16QAM比16QAM具有更好的系统性能。(2)针对ZGI CO-OFDM系统,本文提出了基于符号内频域平均(ISFA)的信道估计算法以及基于Viterbi-Viterbi(V-V)与最大似然(ML)级联的相位噪声补偿算法的优化方案,仿真结果表明,基于ISFA的信道估计改进算法以及基于V-V与ML级联的相位噪声补偿改进算法均可有效改善ZGI CO-OFDM系统中均衡算法的性能。