为了提高光通信系统的信息传输速率,除了可以采用幅度、相位和正交相移键控等传统的调制解调方式之外,光子具有的轨道角动量(Orbital Angular Momentum,OAM)作为一种新的自由度吸引了学者们的广泛关注。OAM可提供理论上无限多的具有不同量子态的正交基,用于承载信息可提高通信系统的数据容量,因此引起了光通信领域的广泛关注。然而,OAM光束固有的发散属性会造成接收端的孔径失配,这给检测出目标态的纯度带来了挑战。本论文研究如何克服孔径失配现象,以及孔径失配情况下采用能让通信系统能量损失最少的技术手段时,探测概率的分布情况。主要工作和成果如下:1.针对拉盖尔高斯(Laguerre-Gaussian,LG)光束发散特性会造成接收端孔径失配的弊端,研究了基于离焦双透镜系统光束尺寸变换的工作机理,理论推导了LG光束经过离焦双透镜系统并在自由空间传输一定距离后的等效半径以及给定光束尺寸变换需求时双透镜系统离焦量的解析表达式,并进行了详细的数值分析和仿真验证。2.研究了孔径失配下径向指数非零LG光束传输过程中功率损失随传输距离z和接收端孔径尺寸R0的变化情况。利用二维傅里叶变换和汉克尔变换,推导出了经过螺旋相位片(Spiral Phase Plate,SPP)检测后的光强分布表达式,进而得到接收端孔径直径变化对归一化的涡旋光束光强分布产生的影响;同时,采用共轭模式分类法推导出SPP目标态检测效率η的表达式,分析了η随径向指数p和角向指数l的变化关系,以寻找达到最佳η所需要满足的参数条件,于目标态探测概率的优选具有重要意义。3.研究了多子孔径部分接收系统功率损失随传输距离z、接收端孔径尺寸R0和入射光束尺寸ω0的变化情况以及不同OAM态的探测概率。研究了基于VGG16深度神经网络结构的孔径失配下高阶径向指数LG光强分布的识别方法,以及横向偏移对于识别准确度的影响。研究结果对OAM光通信系统的实现具有一定的参考价值。