滤波器组多载波(Filter Bank Multi-Carrier, FBMC)利用滤波器组对多载波信号进行分析和综合,可以人为设计成较小的旁瓣来满足各种通信系统的要求。与正交频分复用(Orthogonal Frequency Division Multiplexing, OFDM)相比,在即将到来的5G通信中,FBMC被认为是一种更为有效的多载波调制方式。本文主要研究了非理想重构(即非完全重构)FBMC关键技术,设计了一个基于指数调制滤波器组(Exponentially-Modulated Filter Bank, EMFB)的非完全重构FBMC系统以及基于单子带均衡迭代干扰消除的接收端算法,并对原型滤波器的设计进行了优化。此外,为了进一步提高系统的误比特率(Bit Error Rate, BER)性能,本文还提出了一种基于分集合并技术的过采样接收机设计。首先,本文对5G通信研究背景进行了介绍,重点关注了FBMC在5G波形设计中的潜力。其次,介绍了滤波器组及多速率系统的基本理论。接着,设计了基于指数调制的非完全重构FBMC系统,同时给出了基于单子带均衡迭代干扰消除的接收端信号检测算法。通过对系统及算法进行性能仿真,可以发现在加性高斯白噪声(Additive White Gaussian Noise, AWGN)信道下,所设计的接收端算法经过数次迭代之后,在非完全重构指数调制滤波器组系统中可以获得较为满意的BER性能,而在多径信道中的BER性能较差。然后,给出了非完全重构FBMC系统的原型滤波器的设计与优化方案。首先给出了基于黄金分割线搜索法的加权约束最小二乘原型滤波器原始设计方案,通过性能仿真发现系统在多径信道下性能较差；又给出了基于香农公式的原型滤波器优化设计方案,并对优化的非完全重构EMFB系统的性能进行了仿真,与未经优化的系统的性能进行了对比,系统的BER性能有了很大的改善。最后,为了进一步提高系统在多径信道下的BER性能,在临界采样的发射机基础上,给出了基于分集合并技术的过采样接收机设计方案及相应的输出信号检测算法。通过性能仿真,发现在多径信道的情况下,使用所设计的过采样接收机的系统的BER性能,与临界采样系统相比有很大的提升。