卫星相干光通信具有接收灵敏度高、通信容量大和抗背景光干扰能力强的优点,是远距离、高码速率卫星激光通信领域的主要研究方向之一。高灵敏度是利用本振光场与信号光场的相干效应获得高的信号增益,而实际系统中两光场失配会使相干效率下降,从而导致相干接收机的接收灵敏度出现大幅衰退,远小于理论极限值。如何降低光场失配、获得高的接收灵敏度是卫星相干光通信研究中需要解决的重要问题。本文针对卫星相干光通信中出现的接收灵敏度衰退问题开展研究。从相干光场的相位失配、能量分布失配、传输方向失配三个特性层面,探索卫星相干光通信系统中各类噪声或误差引起的相干接收灵敏度衰退机理,建立引入相干光场失配因子的光锁相环锁相误差和接收灵敏度衰退模型。在上述理论研究的基础上,针对不同噪声或误差引起的灵敏度衰退提出补偿方法,并结合实际的研究工作进行相应的数学仿真和实验验证。光锁相环的锁相误差和光学子系统带来的误差是引起接收灵敏度衰退的接收机内部因素。在对锁相误差引起接收灵敏度衰退的研究中发现,卫星相干光通信中快速转镜的高速转动带来的Doppler频移是除激光器相位噪声和环路内散粒噪声外另一锁相误差来源。本文通过推导分析了该Doppler频移的特点,对其带来的锁相误差给出了抑制方法。针对对光学子系统的误差引起的灵敏度衰退,重点研究了光学子系统的波像差、90°空间光混频移相器的移相误差和平衡光学前端的平衡失配带来的接收灵敏度衰退,给出补偿方法。针对90°空间光混频移相器移相误差引起的灵敏度衰退尚无公开报导的定量分析的问题,探明了移相误差引起灵敏度衰退的机理。推导出了移相误差与接收灵敏度衰退的数学关系,解决了前人关于90°空间光混频移相器移相精度设计缺少定量依据的问题。本文将平衡探测器共模抑制比的定义,推广到光学平衡接收前端中,用来表征平衡光学接收前端存在平衡失配时对相对强度噪声的抑制能力,继而提出了光学平衡接收前端性能的评价方法。研究发现,光学接收前端的平衡失配是灵敏度衰退的重要来源;COSTAS光锁相环具有的低通窄带特性,可以屏蔽掉传输时间失配的影响而仅受到功率失配的影响。仿真结果表明,为使平衡失配引入的灵敏度衰退小于3.5dB,则90°空间光混频移相器和平衡探测器组成的平衡光学前端的共模抑制比应小于-30dB。在对引起接收灵敏度衰退的接收机外部因素的研究中,重点研究了光束跟踪系统的误差和大气信道带来的接收灵敏度衰退的补偿方法。针对常规的卫星激光通信系统采用独立跟踪光路引起跟踪光轴和通信光轴失配从而导致的灵敏度衰退问题,本文提出采用本振光章动来集成通信和跟踪功能,在信号光与本振光相干后的输出信号内提取信号光光轴误差的相干跟踪方法进行补偿。该方法不再采用独立的信号光跟踪光路,简化了接收机结构;消除了跟踪与通信光路之间的光轴失配,提高跟瞄精度和接收灵敏度。本文给出了本振章动相干跟踪的数学模型、视轴误差提取算法,明确了章动角的计算选取方法。本文给出了非均匀大气影响下的相干接收功率与平均入瞳功率和相干效率的数学关系式,并通过将路径积分转换为角度积分的方法简化运算,建立可应用于多种链路的仿真模型,基于该模型研究了卫星对地、临近空间对地、临近空间对卫星、临近空间等四种受大气扰动的典型相干激光通信链路中的平均入瞳功率、相干效率、相干接收功率变化情况。本文所获得的理论成果,可以应用于卫星相干光通信的工程研究领域,降低光相干接收机的实际接收灵敏度相对理论极限值的衰退程度,为高码速率、高灵敏度的光相干接收机的工程实现提供理论依据,为星间、星地相干激光通信系统的链路裕量设计提供参考。本文的有关结论,也可以推广应用于地面移动平台相干光通信和平流层飞艇相干光通信的研究工作中。