光子轨道角动量(Orbital Angular Momentum,OAM)具有本征态数量无限、多维量子纠缠、不同本征态之间相互正交等优良特性,将其用于信息调制能获得新的态域自由度,从而大幅提升通信系统的容量。基于OAM的无线光通信是一种极具潜力的通信方式,本文对其基本原理、关键技术和系统设计进行了研究。首先,论文分析了OAM无线光通信的国内外研究现状,阐述了OAM承载信息和OAM复用/解复用的基本原理。其次,论文研究了OAM在大气湍流中的传输特性。通过在光传输路径上添加随机相位屏,数值模拟了OAM光束的传输。模拟结果表明,大气湍流对OAM光束产生畸变,破坏不同OAM态之间的正交性。进一步,提出了OAM无线光通信系统在大气湍流下的传输信道模型,仿真分析和理论推导发现大气湍流引起的自身OAM态功率衰减随大气湍流增强和拓扑荷绝对值的增大而越发严重,不同OAM态之间的串扰随大气湍流增强而变大,随OAM态的间隔增大而减小。再次,论文研究了OAM无线光通信的调制解调技术。在系统采用强度调制时,提出了一种超立方体结构的发送信号星座图设计方案。在系统采用强度、相位联合调制时,单个OAM态可以加载二维调制信息,通过对调制信号的星座图做优化设计进一步提升了系统性能。此外,提出了一种在态域和时域均引入相关性的态时编码方式,仿真表明相比传统编码方式,态时编码能够带来显著的多态分集增益。最后,论文根据实际应用环境和性能指标要求,设计了采用强度调制/直接检测和采用强度、相位联合调制/相干检测的两套OAM无线光通信系统。根据最大化平均信干噪比准则,设计了一种最优OAM态的选择方案。研究了LDPC码在OAM无线光通信中的应用,仿真结果表明LDPC码可在一定程度上减小大气湍流带来的性能损失。