为了适应全球宽带业务流量不断增长的需求,需要开展Tb/s级甚至更大容量的光纤通信技术研究,这已成为下一代光纤通信系统发展的紧迫任务。目前,相干光正交频分复用是实现Tb/s级以上的光纤通信系统的有效途径之一,而多载波光源是实现基于相干光正交频分复用信号传输的关键器件之一。对于单模光纤来说,由于克尔非线性效应的影响,通信容量受到非线性香农极限的限制。要进一步提高光纤通信系统传输容量,通过少模或多模光纤进行模式复用是目前的主要解决方案之一。本论文针对模式复用光纤通信系统的关键技术进行研究,主要包括适用于Tb/s级甚至更大容量光纤通信系统的多载波光源和模式复用系统关键器件等内容。在光通信领域中,光频梳用作多载波光源能简化传统的波分复用系统需要上百个激光源的结构。因此,高质量的光频梳是实现大容量相干光正交频分复用通信的关键器件。基于IQ调制器的循环频移光频梳适用于这种大容量的光通信系统。为了实现更大容量且更有弹性的光通信系统,我们研究了新型循环频移光频梳的产生机制。同时,模式复用技术是光纤通信系统进一步提高传输容量的主要途径。要进行模式复用,首先需要通过模式转换产生高阶光场模式。模式转换的方式有很多,比如通过空间光相位片、空间光调制器或者通过模式耦合等方式。而模式转换效率高、制作容易且使用方便的模式转换器是模式复用系统所关注的核心内容之一。其中,全光纤熔融型的模式选择耦合器作为模式转换器比较符合这样的要求,所以我们对全光纤熔融型的模式选择耦合器进行相关的研究。本论文的主要内容如下:第一部分主要是介绍课题研究的背景及意义。我们首先简单回顾光纤通信系统的发展历程,然后从提高光纤通信系统传输容量的角度引出我们的研究课题-模式复用光纤通信系统,最后介绍我们研究课题的两个关键技术即光频梳产生和模式转换的研究和发展情况。第二部分介绍循环频移光频梳的相关理论,并理论和实验研究了新型循环频移光频梳的性能。关于光频梳,我们首先回顾循环频移光频梳的产生原理;然后介绍循环频移光频梳的稳态和信噪比等性能;再提出基于双偏振IQ调制器的新型循环频移光频梳产生机制,理论研究其性能,并分析其理论模型和实际方案之间的主要区别和联系;最后搭建此新型循环频移光频梳实验系统,对输出光频梳的稳定性、信噪比等性能进行分析。第三部分主要对全光纤型模式选择耦合器进行相关研究。我们先简要介绍作为模式转换器的全光纤熔融型模式选择耦合器;然后介绍模式选择耦合器实现模式转换的理论,即耦合模理论,从理论上分析模式选择耦合器实现模式转换的关键因素;最后介绍模式选择耦合器制作的实验研究情况,重点探讨了实验条件以及关键流程对模式转换性能的影响,并提出改善实验的技术方案。最后部分是整个论文工作的总结与展望。