在光通信网络中,Sinc型的奈奎斯特（Nyquist）脉冲序列由于具有矩形频谱的特性,被广泛应用于波分复用（Wavelength Division Multiplexed,WDM）通信系统以提高频谱效率和传输容量。近年来,关于Nyquist脉冲产生的方法被大量报道,包括使用电域数字滤波技术、光域脉冲整形技术以及光学参量放大技术等。然而上述方法产生的Nyquist脉冲频谱不够理想且带宽受限,作为激光载波应用于高频谱效率的WDM系统会导致较大的信道串扰,降低光通信系统的传输性能。然而,基于光频梳产生的Nyquist脉冲能够拥有理想的矩形频谱,且克服了电子设备的采样率和处理器容量的限制。该方案结构灵活、波形理想和高重复频率的优势展现了在WDM光通信领域的广泛应用前景。本文以基于光频梳的Nyquist脉冲产生及其在光通信系统中的应用为主要研究方向,着重探究了基于外调制器的光频梳生成Nyquist脉冲的方法,并搭建了基于平坦电光频率梳的Nyquist-WDM通信系统,在无频带保护情况下,降低相邻信道间的串扰。具体工作分为以下几个部分:1)研究了基于光频梳的Nyquist脉冲产生方法,对基于外调制器的光频梳生成Nyquist脉冲进行了理论分析和实验验证。通过级联两个马赫曾德尔调制器（MZM）产生9根频率间隔3GHz的光频梳,时域Nyquist脉冲的过零点脉宽为74ps,脉冲间隔为334ps。基于双平行马赫曾德尔调制器（DP-MZM）产生了5根频率梳,梳齿间隔的调谐范围为1GHz～30GHz。此外,通过级联DP-MZM和相位调制器产生11根梳齿间隔20GHz的频率梳,时域Nyquist脉冲的过零点脉宽为9.1ps,脉冲间隔为50ps。2)研究了基于光频梳的Nyquist脉冲激光载波特性。对基于3根频率间隔9GHz光频梳的Nyquist脉冲进行数字调制,在线宽100k Hz、15MHz和38MHz的光学频率梳下,Nyquist信号信噪比分别31.93d B、28.29d B和24.32d B,通过减少频率梳的线宽可以提高信噪比。探究了Nyquist脉冲激光载波的频域特性,基于3根光频梳和9根光频梳的Nyquist脉冲经过调制后,滚降因子分别为0.33和0.11,其滚降因子会随着梳齿数目的增加而降低。3)搭建了基于电光频率梳的Nyquist-WDM通信系统,在56km的光纤信道中完成45Gbit/s的数据传输。5根电光频率梳被作为WDM载波光源,通过级联一个MZM产生5个Nyquist-WDM信道。其中,Nyquist脉冲的归一化均方根误差在1.23%～2.04%之间,高平坦度的电光频率梳可以有效降低信道间的脉冲质量差异。经过数字调制后,在56km的光纤信道中进行数据传输并分析其传输性能。结果表明,在无频带保护情况下,Nyquist-WDM信道的接收灵敏度损失能够小于0.7dB。