空间激光通信具有高载频、强方向性特点,相比传统射频通信方式,具有巨大的数据传输速率提升潜力,同时可以工作于较小的孔径尺寸,还能有效避免链路间干扰,具有较强保密特性,适用于空间卫星通信等应用。然而激光光束的强方向性特性给终端间的相互对准增加了难度,如果终端间不能准确地相互对准,接收端信号能量会发生很大衰减,会严重影响通信系统性能,因此终端需要通过捕获、跟踪、瞄准(ATP)系统来抑制由于对准误差引起的信号衰减。ATP系统基于信标光成像信号,通过校正发射孔径的指向姿态实现对准,保证链路稳定性以及通信的可靠性。多种原因会引起通信链路误差,同时导致激光的实际成像效果与理想情况存在差异,影响通信性能。造成通信链路误差的原因主要可包括平台振动、终端间相对运动、大气效应、终端光学系统像差等。其中平台振动、大气效应是给通信链路引入动态随机误差的主要原因,动态随机像差主要为一阶倾斜像差。终端光学系统像差是引入静态固定误差主要原因,静态固定像差主要为低阶初级像差。相比于其他原因,大气湍流效应对激光传输的影响较为复杂,且由于光束传输引起的链路衰减是整个链路中功耗损失最大的环节,本文着重对经自由空间大气传输的激光进行了统计分析,讨论可测参数对于可测参数对于光束特性(到达角起伏、光束游走)、链路性能(跟踪误差、接收效率)以及成像特性的影响,并基于此提出通过改变发射激光参数的系统优化方案。为了处理终端间的相对运动、平台振动、大气效应造成的动态随机跟踪误差,并获得更加准确的目标状态,本文将针对随机信号进行处理的最优估计技术——Kalman滤波技术引入自由空间激光通信目标定位中,处理随机扰动。针对Kalman滤波器在实用过程中所遇到的运动模型选择以及噪声给定问题,本文基于激光点目标的特征,提出改进算法。该算法结合双步动态模型,在滤波过程中根据速度的相关系数调整运动模型参数,使运动模型更加切合实际。此外,结合运动模型以及观测数据估计过程噪声,同时基于成像特性,利用单帧图像中灰度值的分布,对单次观测的观测噪声进行实时估计,实现过程噪声和观测噪声的自适应。根据在外场进行的仿真实验和实际跟踪实验结果,本文所提的噪声自适应Kalman滤波方法能够有效地保证跟踪精度。针对终端光学系统像差引入的静态固定像差误差,本文首先基于Zernike多项式展开,分析了发射光学系统和接收光学系统的各种初级像差对链路性能以及通信性能的影响。其次对望远镜光学系统误差的产生原因以及分配情况进行分析,明确了在现有技术条件下,减小望远镜系统的次镜装调误差是实现静态像差校正的有效手段。针对静态像差校正,本文提出了一种根据星点光斑的形态估计并校正误差的方法,此方法引入一种新的图像算子评价成像光斑像质,以卡塞格林望远镜系统为实例,分别通过仿真与实验分析装调误差对该图像算子的影响,建立了该图像算子与次镜误差之间的关系模型,并基于该模型提出了一种有效的基于图像检测的望远镜静态像差自动校正方法。