众所周知,对于海洋资源的开发利用是不可能离开对海洋数据的获取与传输,因此水下通信技术的发展对人类社会的发展具有重大战略意义。水下无线光通信技术的特点包含带宽不易受环境因素影响、可用载波频率高、通信传输时延小等等,这些特点正好能够解决新时代背景下水下通信所面临的一些难题。然而,在水下无线光通信系统中,海洋湍流现象、吸收与散射效应等因素的存在,会导致通信系统中信号的能量在传输过程中受到一定的能量衰减,在接收端检测到的有用信号强度降低,严重影响通信系统的性能。因此,本文基于两种新型海洋湍流信道——广义伽马分布（Generalized Gamma Distribution,GGD）信道模型和混合指数广义伽马（Mixture Exponential-Generalized Gamma,EGG）信道模型,研究了复合衰落信道下的水下无线光通信系统的传输性能,并采用正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）、空时编码（Space-Time Block Coding,STBC）、纠错编码、中继辅助等技术对水下无线光通信系统的性能进行了优化。主要内容如下:（1）考虑海洋湍流和海水吸收散射的影响,基于复合GGD信道模型,分别推导出采用译码转发（Decode and Forward,DF）协议的串行中继OFDM水下无线光通信系统在OOK调制、PSK调制、QAM调制方式下的平均误码率理论表达式,并通过蒙特卡洛（Monte Carlo,MC）仿真验证所推导表达式的正确性,分析了不同的调制方式、不同的温度梯度、不同中继节点数、不同海水条件等因素对该通信系统的传输性能的影响。进而在所建立的采用OFDM方案的串行中继水下无线光通信系统模型的基础上,研究RS纠错编码对该通信系统的误码性能的改善作用。（2）采用波束扩展函数（Beam Spread Function,BSF）来描述由海水吸收散射引起的路径损耗模型,基于BSF和新型EGG海洋湍流信道模型构建复合EGG信道模型。基于复合EGG信道模型和二进制相移键控（Binary Phase Shift Keying,BPSK）调制,分别推导出串行中继水下无线光通信系统在单天线收发（Single-Input SingleOutput,SISO）、采用STBC编码的多天线收发（Multiple-Input Multiple-Output,MIMO）两种条件下的平均误码率理论表达式。由于GGD模型可以通过改变EGG信道模型的参数得到,因而也给出了基于复合GGD信道模型下UWOC系统在这两种条件下的平均误码率的理论表达式。此外还利用MC仿真与解析计算进行了对比,分析了不同中继节点数、不同的天线设置、不同的温度梯度、不同气泡水平以及不同海水条件等因素对该系统的通信性能的影响。进而,在所建立UWOC系统的基础上,对比研究了RS码、循环码和卷积码对系统误码性能的改善作用。本文结果对水下无线光通信系统的设计提供了一定的参考。