随着全球宽带数据业务的快速增长，数据信息传送量激增，现有的光纤通信系统承载能力越来越不足，这推动了下一代高性能光纤通信系统的发展。它拥有速率高、容量大以及传输距离远的特点，但容易受窄带滤波、色散和非线性等损伤的影响，严重限制了系统的传输性能。光调制信号是光纤通信系统的关键技术之一，也是系统升级过程中主要的研究对象。而传统的低阶调制信号,它们的抗传输损伤能力较差并且传输效率低，已经不能满足下一代光纤通信系统的要求。因此，开展新型调制信号及其传输性能的研究显得尤为重要。本文分析了光纤通信系统在传输过程中遭受的损伤因素以及造成损伤的基本原因；给出了几种常见的低阶调制信号的特点及其应用场合，并介绍了正交相移键控（QPSK）和十六正交幅度调制（16QAM）的基本特点。针对传输链路中的窄带滤波、光纤色散以及非线性传输损伤，搭建了相应的仿真系统。通过对QPSK和16QAM调制信号系统的窄带滤波损伤的研究，发现系统存在最佳的光滤波带宽。进而对非归零差分相移键控（NRZ-DPSK）、归零差分正交相移键控（RZ-DQPSK）、非归零差分正交相移键控（NRZ-DQPSK）和16QAM调制信号进行了色散容忍特性的研究。研究表明，在相同的速率下调制信号的光谱越窄，抗色散能力越强。之后，利用单偏振和双偏振NRZ-DQPSK调制信号系统以及单信道和多信道16QAM调制信号系统对非线性效应进行了研究。结果表明，偏振态之间的非线性效应以及信道间的交叉相位调制容易造成系统传输性能的恶化。本文还从电域色散补偿的角度，对比分析了时域和频域补偿处理的特点以及它们在系统中实现的难易情况。对于频域补偿，本文重点介绍了基于频域均衡算法（FDE）改进而来的重叠频域均衡算法（OFDE），给出了OFDE的基本原理和相应的算法描述。本文通过对DQPSK和16QAM调制信号传输系统的搭建，利用OFDE算法进行了色散补偿仿真。仿真结果表明，每个数据块进行OFDE补偿后，保留的有效数据长度满足一定值时，OFDE能实现无OSNR代价的色散补偿。