近年来,移动互联网的技术发展使得城域网中的光纤通信质量需要进一步优化。“互联网+”时代的到来,高速大容量成为了城域网的发展趋势。多层编码能够纠正信息在信道传输中出现的错误,调制技术能够增加编码增益,译码可以提高系统的误码性能。针对城域网中编码增益不大和高误码率的问题,多层编译码及多层调制技术成为了国内外研究热点。论文在研究国内外信道编解码的基础上,重点研究了多层多速率编译码和星形QAM调制技术提高通信系统速率可调节的灵活性和对激光器功率的容忍度,论文的主要研究工作如下:1)在研究分层编码的基础上,研究了速率可调节的编码技术,提出了速率可调节的多层编码方案。研究结果表明,分层后的每个层次的码元信息速率和信道编码效率及调制方式呈现一定的相关性,使得每层的码元速率可变,更加的灵活。2)在研究分层编码调制的基础上,设计了 4n层星形QAM调制方案。仿真研究了星形QAM调制和矩形QAM调制的峰值功率。研究结果表明,4n层星形QAM调制可以增加编码增益。与矩形QAM调制相比,星形QAM的峰值功率更加的平稳,因此星形QAM对激光器具有更好的容忍度。3)在研究传统译码的基础上,提出了分层多速率迭代译码算法,在分层译码过程中充分利用传送过来的似然值来增加判决输出的准确度,仿真研究了系统误码率性能。研究结果表明,使用分层多速率迭代译码算法在译码过程中有更大的译码参考,使得译码更加的可靠。