深空通信具有通信距离远、传输时延大、通信环境复杂等特点，其信道是典型的带限和非线性信道，随着通信量的日益增大以及频谱资源的稀缺，促使着高带宽效率和高功率效率的调制技术研究和发展。GMSK调制具有包络恒定、相位连续、带外频谱衰减快和已调波频带窄等特点，有很高的带宽和功率利用率，并可有效降低邻道干扰，提高非线性功率放大器的效率，这些特点使其很适用于深空通信。本文以深空通信中适用的GMSK连续相位调制技术为研究对象，首先对深空通信信道特性和通信链路进行了研究，总结出深空通信具有通信距离远、信号传输时延大、接收信噪比极低等特点，介绍了GMSK信号的概念、状态表示法、相位特性、网格状态图等基本特性以及调制器实现方式。然后着重研究了GMSK信号的相干解调算法，在详细介绍最大似然序列检测原理的基础上，用图表形式分析了Viterbi算法的复杂度，证明了其复杂度随着GMSK信号关联长度L等调制参数的增加而呈指数增加，因此针对MLSD算法复杂度高、计算量大的特点，通过引入Laurent算法和M算法，得到了GMSK信号的Laurent最优检测和Laurent次优检测解调算法，在综合考虑复杂度和解调性能的前提下，提出了GMSK信号的Laurent最优检测和M算法相结合的解调算法，新提出的联合算法采用M算法替代Viterbi算法，通过减少网格搜索的数量，从匹配滤波器个数和每符号计算量两方面对GMSK相干接收机进行了简化，通过计算机仿真得到了上述各种相干解调算法的解调性能，并总结分析了误码率性能和复杂度等指标。最后研究了小波去噪技术在GMSK通信系统中的应用，在对如何选取小波函数、阈值规则、分解层次等研究的基础上，提出了基于小波预处理接收机的GMSK通信系统方案，最后通过实验仿真，证明了方案的可行性。