基于轨道角动量（Orbital angular momentum,OAM）态复用的自由光通信系统能够极大的提升通信系统的传输速率,且不需要额外的谱带宽,然而,携带轨道角动量态的光束在自由空间和水下传输时,不可避免的受到大气湍流和水下湍流的影响。随着OAM研究的深入,针对整数拓扑荷值的OAM态复用通信技术愈发成熟,分数轨道角动量态和花瓣轨道角动量态在自由空间和水下传输的性能越来越得到广泛关注。论文研究分数轨道角动量态和花瓣轨道角动量态的在自由空间和水下环境下的传输性能。主要工作如下:（1）针对实际光学实验场景中拓扑荷值受限的问题,论文研究了自由空间和水下环境下分数轨道角动量的传输性能。利用分数轨道角动量拓扑荷值可以为任意数值,而不再局限于整数数值,使用间隔不为整数的拓扑荷值作为信息传输载体,使得在拓扑荷值受限条件下能有效增加信道容量。大气湍流下仿真结果表明:间隔不为整数的分数轨道角动量态之间可以进行复用传输,间隔拓扑荷值越接近整数,信道间的串扰越小,间隔拓扑荷值为0.2时,模式间串扰已经很大,但此时可以有效地增加复用的信道数量;水下实验结果表明:拓扑荷值受限条件下（01（28）-l₂时,花瓣的抗干扰性能显著提升,且花瓣的瓣数越多,抗湍流的能力越强;水下实验结果表明:与仿真结果一致,使用百度人工智能开放平台可以看出花瓣的置信度较单一模式提高一倍以上,并且花瓣数越多得出的图像置信度越高,越容易被识别出来。