移动互联网、大数据、云计算、5G等信息化浪潮的兴起带来了极大的网络容量需求,光纤通信容量短缺的问题越来越严重。空分复用（SDM）被认为是目前增加光纤通信系统容量最有前景的方案之一。轨道角动量（OAM）模式复用作为SDM的一种,因其可以避免接收端复杂的多输入多输出数字信号处理技术,引起了研究者们的广泛关注。而基于OAM模式的SDM系统的实现最关键的因素就是光纤,它直接决定了信息的传输距离以及接收端信号处理的复杂度,因此找到一种拥有良好特性的OAM模式传输光纤（简称OAM光纤）并研究光纤中的OAM模式传输特性至关重要。本文围绕OAM光纤这一主题,针对OAM光纤设计以及OAM模式耦合机理展开深入研究,所取得的主要研究成果为:1.首次提出了支持OAM模式传输的环形光子晶体光纤的设计工具。给出了适合环形光子晶体光纤系列的有效归一化参数的定义,以此为基础设计了各阶矢量模式截止条件随所定义的有效归一化参数变化构成的模式导图,同时设计了模式有效折射率差,限制损耗,有效模场面积随有效归一化参数变化所定义的等值颜色图,给出了自旋轨道耦合与归一化参数之间的关系图。针对设计OAM模式传输光纤考虑因素众多、设计复杂的问题,给出了方便易用的设计指导解决方案。最后,利用提出的设计工具,给出了一些OAM光纤设计的实例,证明了设计工具的有效性与实用性。2.椭圆OAM光纤中模式耦合机理的分析。针对OAM光纤的椭圆形变,基于耦合模理论与数值仿真,深入分析了椭圆形变OAM光纤中同一 OAM模式群内的模式耦合效应。发现了椭圆形变不仅在高阶矢量模式的奇偶模之间引入了时延差,而且破坏了光纤中本征模结构的现象,且椭圆形变大小不同,造成的本征模的结构破坏也不同。当椭圆形变比较小时,本征模的结构破坏可以忽略不计,只有同一矢量模式组成的两个OAM模式之间存在耦合;当椭圆形变比较大时,本征模的结构破坏不可忽略,此时同一模式群内的四个OAM模式之间都存在耦合,且同一矢量模式组成的两个OAM模式之间的耦合比较严重。OAM光纤中模式耦合机制的研究,为更好地模拟OAM光纤中的模式传输铺平了道路。3.OAM光纤双折射模式色散的研究。当内在缺陷和外在扰动比较小,或者同一模群中HE与EH模之间的有效折射率差足够大时,可合理假设HE与EH模组成的OAM模式彼此独立,此时OAM光纤中的模式耦合类似于单模光纤中的偏振模色散。本论文借鉴单模光纤偏振模色散的分析方法,给出了 OAM光纤中模态的琼斯空间,斯托克斯空间以及庞加莱球表示,利用琼斯矩阵传输法建立了 OAM光纤双折射模式色散的数学模型。与偏振态相比,模态分布与空间方位角有关,使OAM光纤中模态的表示以及双折射模式色散建模都包含了空间方位角这一参量。