高功率效率和高频谱效率是光信号调制方式选择的两个重要准则。一方面,随着卫星光通信、深海通信等无中继光通信系统的迅速发展,人们对高功率效率调制格式的探索也逐渐深入;另一方面,当今互联网业务应用场景的增加,使得人们对于系统容量的要求也日益增长;如何在目前受限的带宽中进一步提高系统容量,成为了现阶段光通信传输系统中重要需求。因此,我们寻求一种在满足功率效率要求的前提下,同时具有高频谱效率的光调制格式,即高功率效率和高频谱效率平衡的调制格式。本文主要研究了高功率效率调制格式的应用和发展,着重介绍了脉冲位置调制以及其相关的混合调制;并在这些研究的基础上,对本实验室提出的一种新的平衡了功率效率与频谱效率的调制格式,即基于奈奎斯特滤波的4PPM和QPSK混合调制(Nyquist-4PPM-QPSK)进行了研究和分析。首先,介绍脉冲位置调制和其相关混合调制的原理;对它们的误码特性公式和频谱效率公式进行了推导和数值仿真,并进一步对它们的优缺点进行了对比和分析,为下面提出的Nyquist-4PPM-QPSK奠定了基础。然后,介绍了奈奎斯特(Nyquist)滤波技术及原理,并对其进行了数字实现。完成了 Nyquist-4PPM-QPSK信号的调制和解调,展示了信号的波形图、眼图、星座图和频谱图;对其理论误码特性进行了分析。仿真分析了信号波形的采样点位置不同和Nyquist滤波器滚降因子不同对系统误码性能的影响。除此之外,还简单介绍了论文中仿真和实验用到的接收机DSP算法,包括正交不平衡补偿、时钟恢复、色散补偿、PPM解调、频偏估计和相位恢复。最后,分别在单信道无中继光纤链路和WDM无中继光纤链路中实现了 Nyquist-4PPM-QPSK等调制格式调制和接收的系统仿真,以及实现了上述调制格式的背靠背传输实验。在仿真和实验中,对Nyquist-4PPM-QPSK的性能进行了分析和与QPSK调制的对比。得出结论:在相同误码率限制的条件下,Nyquist-4PPM-QPSK与QPSK具有相同的频谱效率,且Nyquist-4PPM-QPSK在功率效率上更具有优势。