随着无线通信的不断发展,飞机对地通信和无人机通信等高速数据链对通信系统发射机的功率效率和带宽效率提出更高的要求。FQPSK(Feher-patented quadrature-phase-shift keying)调制作为一种高效的调制方式,具有准恒包络和高效的频谱效率的特性。单载波频域均衡(Single carrier frequency domain equalization,SC-FDE)技术作为一种有效对抗码间干扰的单载波传输技术,对载波频偏和定时偏移不敏感,同时具有较低的峰均比。因此,本论文结合FQPSK调制和SC-FDE技术的优势,首次提出基于FQPSK调制的SC-FDE系统,为飞机对地通信和无人机通信等高速通信数据链提供一种解决方案。论文围绕基于FQPSK调制的SC-FDE系统的发射机和接收机设计,分别研究了信号设计、导频设计、过采样倍数设计、信道估计、频域均衡和序列解调等关键问题。信号设计方面,首先研究了基于卷积编码映射的FQPSK实现方式,其次,分析了不同的过采样倍数对于设计波形的逼近程度及其对实际带宽占用的影响。最后,研究了循环前缀和导频序列的插入方式,通过先加入循环前缀和导频比特然后再进行FQPSK调制波形生成的方式来保证信号波形连续没有突变点以获得高效的频谱效率。接收机设计方面,针对发射信号设计了相应的信道估计、频域均衡和解调算法,并分析和研究了过采样倍数和非理想位同步情况对系统误码性能的影响。最后在莱斯衰落多径信道条件下,对链路性能进行了仿真评估,并与基于QPSK调制的系统进行性能对比,发现基于FQPSK调制的系统在基本不损失误码性能的前提下,获得了更高的功率效率和带宽效率。