信息和通信技术的发展被认为是21世纪以来的第一大科技革命。随着海底光纤的铺设,通信卫星的升空,以及因特网的普及,直至本世纪初,几乎所有的人类都被名为“互联网”的无形大网所包裹联系起来,人们的生活也因此发生了翻天覆地的变化。随着科技的进步,第五代移动通信技术（5G）,大数据,车联网等成为时下最热门的新名词。这些新技术对通信系统的通信容量提出了进一步的要求。涡旋光束是一种携带轨道角动量（orbital angular momentum,OAM）的具有螺旋形波前的特殊光束,由于其理论上有无限个模式态,且不同本征态之间相互正交,使得其有潜力作为全新的维度来进一步提升通信系统的容量。要在通信系统中应用涡旋光束,确定涡旋光束的模式成为不可避免的关键所在。本文以测量涡旋光束的模式为研究目标,通过设计特殊的相位片,以纯相位调制技术为基础,以空间光调制器为核心的实验装置,实现了对大容量复用涡旋光束的模式检测,并进一步解决了基于有限孔径的涡旋光束模式测量和分数阶涡旋光束的模式测量问题。主要研究工作及成果:提出两种测量大容量复用涡旋光束的算法方案,解决了目前涡旋模式测量方案中存在的测量模式范围窄、破坏原始信号以及不能测量复用涡旋模式的问题,实现了对宽范围复用涡旋光束的瞬时模式检测。第一种方案通过紧聚焦系统产生三维多焦点涡旋测量阵列来实现涡旋光束的大容量模式测量。该涡旋测量阵列包含4个焦面,64个涡旋焦点,可以同时测量-32阶到32阶涡旋光束的模式。此外,利用空间光调制器的线偏振响应特性,提出使用两片空间光调制器来产生紧聚焦三维多焦点偏振涡旋测量阵列,以测量具有x偏振或者y偏振的-16阶到16阶的涡旋光束。第二种方案基于密集相位拼接算法产生二维64焦点涡旋阵列。密集相位拼接算法可以将4个分别产生16焦点涡旋阵列的相位片拼接为1个产生64焦点的相位片。使用该相位片同样可以测量-32阶到32阶的独立或者复用涡旋光束。此外,密集相位拼接算法可以在无模式串扰的条件下测量涡旋光束,是一种理想的增加涡旋模式测量范围的方案。提出一种适用于多芯OAM光纤的涡旋光通信方案,解决了涡旋光束耦合进入光纤时涡旋半径与纤芯折射率分布不匹配的问题,实现了入射端对涡旋光束空间位置、模式和半径的一体化调制。为了高效的将涡旋光束耦合进入多芯OAM光纤,引入一种产生完美涡旋阵列的方案。阵列中各焦点的位置、完美涡旋的模式、半径都可以灵活控制,因而可以匹配各种多芯OAM光纤。在光纤的接收端,设计了相位片,实现对复用完美涡旋光束的测量和解调。此外,提出了一种基于复用涡旋的OAM编码方案,使L种OAM模式编码的数据容量由log2（L）bits提升到L bits。提出了基于合成孔径测量涡旋模式的方案,解决了难以测量经过长距离自由空间传输而发散的涡旋光束的模式的问题,实现了基于有限孔径的涡旋光束解复用。对于在自由空间中传输的涡旋光束,其半径会随着传输距离的增加而增大,进而可能导致涡旋光束在接收端难以有效的被接收和检测。为此,结合合成孔径雷达的概念,提出使用由两个大小不同的扇形接收器组成的合成孔径探测器来测量涡旋光束的方案。通过使用合成孔径探测器,可以将由于接收孔径不完全导致的产生在相邻模式上的串扰比较平均分布在几个模式上以达到减弱系统串扰的效果,有效解决自由空间OAM通信中测量经过长距离传输的涡旋光束模式的问题。提出利用复用整数涡旋光束强度来计算分数涡旋拓扑核数的算法,解决了传统测量分数涡旋模式方案存在的装置复杂且测量结果精度低的问题,实现了分数涡旋及具有整数模式间隔的复用分数涡旋拓扑核数的精确测量。分数涡旋可以等效为复用的整数涡旋光束。通过测量复用整数涡旋光束中各涡旋光束的能量,可以计算得到分数涡旋的平均OAM。基于该原理,提出一种使用二维整数涡旋阵列来测量分数涡旋模式的方案。此外,考虑到分数涡旋的平均OAM与其拓扑核数不相等,提出了修正函数。该方案使用多个整数涡旋光束的能量,对独立分数涡旋的拓扑核数进行精确测量。此后,建立了优化分数涡旋评估算法,使用两个整数涡旋光束能量实现分数涡旋的精确计算。基于优化分数涡旋评估算法,进一步探测了具有整数模式间隔的复用分数涡旋的拓扑核数。