随着移动互联网、云计算和物联网的快速发展,个人无线终端的大规模普及,全球网络流量和带宽的需求呈爆炸增长趋势,10G系统已经远远不能满足通信容量的要求。随着100G技术的逐渐商用,这无疑对光传输网络提出了更高的要求,波分复用光传输层的管理和维护面临挑战,因此能够进行实时在线的光性能监测成为必要。光信噪比是光性能监测的关键参数之一,与光信号的质量和接收终端的误码率直接相关,其用途是光传输网络的配置、优化和预警。由于10G直接检测时代的光信噪比监测方案在100G相干检测系统中已不能继续沿用,因此需要研究新的有效的监测方法。为了进一步增加传输速率和提高信道容量,本论文还对新的复用方式——轨道角动量进行了研究和探索。在自由空间光通信中,限制轨道角动量模式复用的主要因素是大气湍流扰动,会导致模式之间的串扰,限制模式间隔和个数,影响光通信系统的传输容量。本文基于以上背景,主要研究了相干检测光通信系统中的光信噪比监测方法以及自由空间光通信中轨道角动量的模式串扰分析,主要工作如下：1.分析了10G时代的各种光信噪比监测方案,包括带外测量法和带内测量法,并讨论了每种方案的优势和劣势,以及光纤信道中的物理损伤对监测结果的影响。另外阐述了100G相干接收系统中出现的光信噪比监测方案。2.提出一种基于高阶统计矩法监测光信噪比的修正方案,给出了理论分析,并在112Gbit/s的PM-QPSK相干传输系统中进行了仿真验证。仿真结果表明：对于背靠背传输系统,在5dB～30dB的OSNR范围内监测误差均小于0.5dB；当参考OSNR为14dB时,0.5dB的监测误差对光纤信道的线性损伤均有很高的容忍度。3.提出了Nyquist-WDM相干传输系统中基于导频辅助的OSNR监测方案,理论分析和推导了该方案的可行性,在VPITM仿真平台搭建传输系统,仿真结果表明,该监测方案对CD和PMD不敏感。4.理论分析了轨道角动量模式之间的正交性,在实验中利用空间相位调制器生成不同的轨道角动量模式,仿真研究了不同模式在Kolmogorov大气湍流模型情况下的自由空间传输导致的模式畸变,以及在不同大气串扰强度下的模式间隔分配方案。仿真结果表明,在弱大气湍流条件下,连续轨道角动量模式可以作为短距离自由空间光通信中的模式分配方案。在中等大气湍流条件下,轨道角动量模式间隔应该至少为3,才能保证信号串扰不至于影响到接收端的信号提取。