在各类智能终端大范围普及的现代社会,伴随着云虚拟现实、物联网工业自动化、远程全息无人系统、数字孪生体域网等新型技术的出现和发展,无线通信业务需求已经呈现出爆炸式增长的态势。然而,日益紧缺的传统射频频谱资源已经无法满足急剧增长的数据传输速率需求。此时,光无线通信以其得天独厚的优势崭露头角,能够提供丰富的频谱资源、支持超高速的数据速率、满足未来移动通信高速业务场景需求,是一种极具潜力的无线传输技术。但是,光无线信道的高相关性以及强度调制与直接检测的限制,阻碍了光无线通信系统速率的进一步提升。为了解决这些问题,本论文开展波束域大规模MIMO（Multiple Input Multiple Output）光无线通信理论方法研究,提出利用光纤微透镜的光无线通信系统架构,并在此基础上提出波束域大规模MIMO-OFDM（MIMO-Orthogonal Frequency Division Multiplexing）光无线传输方法。首先,本论文提出利用光纤端口的光学天线设计并建立信道模型。基于几何光学与波动光学,分别推导了光纤微透镜的光线方程与光线变换矩阵,提出光纤微透镜规格参数的设计方法,用于调整光纤端口发出光束的远场发散角度。进而,利用光纤端口阵列以及发射透镜设计光学天线,生成不同方向的多个光波束,实现对通信区域的全光束覆盖。在此系统架构下,分析从发送端到接收端的光传输信道增益,建立信道模型。光学仿真结果表明,所设计的光纤微透镜可以显著扩大光束的远场发散角,基站利用光学天线可以有效提高不同光束的空间分辨率,同时实现对通信区域的全光束覆盖。然后,本论文提出波束域光大规模MIMO-OFDM下行传输方法。针对光无线通信系统的下行链路,提出大规模MIMO-OFDM光无线传输系统架构。在此系统中,设计发送预编码,从而最大化系统和速率,并提出低复杂度的波束调度与功率分配（Beam Scheduling and Power Allocation,BSPA）算法。之后,针对OFDM系统中发送信号峰均比过高的问题,提出峰均比约束下的最大化和速率优化问题,通过利用序贯参数凸近似法求解该非凸问题,提出峰均比约束下的最大化和速率预编码设计方法,同时设计低峰均比的BSPA算法。数值仿真结果表明,两种最大化和速率预编码均具有优异的性能,而在峰均比约束条件下,基于BSPA算法的预编码性能也优于常用的最大比发射预编码与正则化迫零预编码。最后,本论文提出波束域光大规模MIMO SC-FDMA（Single-Carrier Frequency Division Multiple Access）上行传输方法。针对上行链路对峰均比性能敏感的问题,对射频通信中的DFTS-OFDM（Discrete Fourier Transform Spread OFDM）技术进行改造并应用于光无线通信系统中,提出利用DFTS-OFDM的光SC-FDMA传输方法。为了进一步提高系统的峰均比性能,对OQAM-OFDM（Offset Quadrature Amplitude Modulation OFDM）技术进行光域改造,以满足光无线通信系统的需求,通过添加共轭对称子载波和循环前缀,设计利用CP-OQAM-OFDM的光SC-FDMA传输方法。数值仿真结果表明,两种传输方法均具有优于OFDMA的峰均比性能,其中,利用CP-OQAM-OFDM的光SC-FDMA传输方法的峰均比性能最优。