传统的波分复用技术及其拓展方法越来越不能满足当下大数据背景下日益增长的通讯需要,寻找其他可以进一步扩展信道的载波技术成为当下光通讯领域的热门方向。涡旋光束具有沿角向线性变化的螺旋相位,且不同本征模式之间相互正交,可以利用其轨道角动量提高光通讯的信道宽度。深度学习在图像处理等领域得到的广泛的研究和应用,把光学成像作为输入图像进行处理,可以得到其中的有效信息。本论文引入深度学习算法作为复合涡旋光束的模态分析方法,主要创新点如下:（1）提出了一种基于双输出卷积神经网络（Y-Net）的多模涡旋光束模态分析方法,不仅可以根据输入光强分布图像输出每个模式的权重,还可以还原未知的相位信息。当多个模式的涡旋光束叠加在一起时,通过提出的模态分析方法同时得到不同模式的权重和相对相位。我们首先通过对多种模型结构进行对比,发现双输出结构的预测结果要优于单输出结构,表明双输出结构既保留了振幅和相位对于光强分布的联系,又将二者不同的物理意义做了区分。然后我们根据预测到的权重和相位对涡旋光束进行重构,计算表明重构前后的相关系数值达0.9999以上,证明了神经网络具有强大的模态分析能力。此外我们还对神经网络在不同模式数、不同传播距离下的表现进行了研究,结果显示,当模式数为9时,权重的平均绝对误差约为1.4×10-3,相对相位的平均绝对误差则约为2.9×10-3;传播120米之后,其权重误差也仅为5.6×10-3。而对于未知数据集以及噪声干扰的情况,神经网络仍然保持较为精准的预测,对于未来光学系统有一定的应用价值。（2）提出一种基于卷积神经网络的含有径向指数的拉盖尔-高斯光束复用系统的模式占比分析方法,既对信道变化具有很好的泛化性,还可与U型网络一起检测被遮挡的光束模式占比。在光通讯中,径向量子数和角向量子数都不为0的拉盖尔-高斯光束可以进一步拓宽信息传递的信道数,因此可以从通讯时的信道数切入,研究神经网络在信道变化上的泛化性表现。我们逐步将神经网络的适用范围从信道模式组成固定的情况拓展至信道模式组成和模式数都不固定的情况中。结果显示,当模式组成固定时,神经网络的平均绝对误差约为0.002,即使允许的最大绝对误差为0.005（即模式占比预测的偏差最高为0.5%）,也有94.86%的准确率;当模式组成和模式数都不固定时,预测准确率为93.26%（允许的最大绝对误差为0.01时）,展示了良好的泛化性。在光通讯中,会存在载波被障碍遮挡的情况,我们引入了U型网络复原被障碍遮挡的光强分布,并复原光场的结果进行分析。在给定遮挡范围内,复原后的光强分布图像与原始图像非常接近,PSNR值在33d B以上,表明U型网络具有很好的复原效果。其次光强分布经过复原后,模式占比分析的平均绝对误差与未复原时相比下降一个数量级,与原始光强分布处于同一个量级内,证明了对被遮挡的光强分布复原后进行模式占比分析的可行性。我们还研究了噪声对于神经网络性能稳定性的影响,结果显示,当以最大绝对误差值为0.009作为预测准确率的阈值时,即时噪声强度达到了0.03,神经网络也有83%左右的预测准确度,证明神经网络有一定的抗噪声能力。