随着通信业务量急剧增长,光纤通信系统也不断升级换代。目前运营商骨干网已经完成从1OGbit/s、40Gbit/s到100Gbit/s光纤通信系统的更新换代,而为了适应未来网络业务流量的急剧增长的需求,光纤通信系统向400Gbit/s甚至太比特传输系统演进已经成为必然的趋势[1-14]。在这一过程中如何最大化提高系统的频谱效率(SE)和提升光纤通信系统的传输性能,是研究者们所面临的重要挑战[13,16]。先进的调制格式,例如QPSK和16QAM相比较于OOK可以分别提升系统的频谱效率2倍和4倍[16],但是需要额外的3dB和6dB的光信噪比(OSNR)开销,因此传输距离受限。波形处理技术是另外一种提高系统频谱效率的方式,例如Nyquist波形成型可以让50Gbaud波特率的信号在标准的50GHz信道间隔内传输而无信道间串扰[18]。在相同的信号波特率下,FasterthanNyquist(FTN)信号的带宽只占Nyquist信号带宽的一部分,因此FTN信号具有更高的频谱效率[19-39]。由此可见,波形处理技术是未来高速高频谱效率光通信系统中的一个重要研究方向。光信号在传输过程中会受到各种线性和非线性损伤,进而严重影响了系统的传输性能。相干检测系统中,信号所受的损伤,例如偏振模色散、色度色散、频偏和载波相位噪声等均能在电域进行补偿[15]。其中,载波相位估计是相干光通信系统中重要的一部分,它的作用是补偿发射端激光器和接收端本地激光器引入的相位噪声,从而保证系统的可靠传输。在FTN系统中,由于存在FTN波形成型过程中引入的码间干扰(ISI),因此如何在FTN系统中进行相位噪声补偿也是我们需要解决的问题。本文围绕相干光通信系统中波形处理和载波相位估计两部分进行研究。其中,对Nyquist和FTN系统中载波相位噪声补偿算法进行了较为深入研究和分析,主要的完成工作和创新工作如下:(1)研究了 Nyquist和FTN这两种高频谱效率的波形处理技术,并实现了 Nyquist和FTN信号的产生,最后采用两种算法(Viterbi算法和BCJR算法)实现了 FTN信号的接收。(2)研究了 Nyquist系统中载波相位估计算法并分析比较了不同算法之间的性能,包括四次方算法、星座转移算法(CT)、最大似然相位估计算法(ML)和盲相位搜索算法(BPS)。由于传统的星座转移算法(CT)只适用于矩形星座图的QAM调制格式,因此我们提出了一种交叉星座转移算法(CCT)算法用于非矩形星座图的32QAM和128QAM调制格式。最后提出了一种基于光导频辅助(PA,pilot-added)和交叉星座转移(CCT)的两阶段载波相位估计算法,并在提出的双子载波32QAM/128QAM 系统中研究比较了 PA、PA+ML、PA+CCT 和 BPS算法之间的性能,并发现提出的PA+CCT方案具有最好的线宽容忍度且具有较低的计算复杂度,其中使用PA+CCT方案,误比特率为3.8×10-3时,在32QAM系统中,1dB线宽容忍度可以达到2.5MHz,而在128QAM系统中1dB线宽容忍度也可达到800kHz。(3)分析了 FTN系统中载波相位噪声模型,并探讨了 FTN系统中相位噪声估计的难题。为了实现FTN系统中载波相位噪声的补偿且获得较大的线宽容忍度和较低的算法复杂度,我们提出了两套解决方案实现FTN系统中相位噪声补偿,这两种方案均能克服FTN系统中强烈的码间干扰的影响。5.2节中的光导频辅助方案可以获得较大的线宽容忍度且带宽开销较小,5.3节中的电导频方案易于硬件实现且不存在载波和导频之间难以同步的问题。