如今,无线通信业务种类在不断扩展,业务的要求也在不断的提升,通过5G通信中新的波形技术可以满足日新月异的通信服务需求。滤波器组多载波(Filter Bank Multi Carrier,FBMC)技术是在正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)技术上的进一步的优化,是5G系统多载波技术方案中的重要技术。FBMC通过滤波器对每个子载波滤波,能有效的降低子载波的旁瓣,实现每个子载波灵活的资源分配。对于使用偏移正交调制(Offset Quadrature Amplitude Modulation,OQAM)技术的FBMC系统,能够有效地处理相邻的符号间干扰,从而进一步提高了有效的传输速率。多输入输出技术(Multiple Input Multiple Output,MIMO)能够有效提升系统的容量,考虑到移动设备的功率和尺寸问题,不便直接在移动通信系统中应用。本文主要研究在多用户MIMO技术(Multi-User MIMO,MUMIMO)与FBMC系统的结合下,用户和资源的分配问题。首先,研究并比较OFDM和FBMC系统,说明FBMC系统通过使用滤波器带来的优势,对于FBMC的调制系统进行介绍,主要是说明原型滤波器的设计方法以及FBMC的基础实现结构;进一步的给出OQAM技术和FBMC系统的结合,构建和MIMO结合的FBMC系统结构,推导系统信号的数学公式表示。然后,考虑单用户情况下的FBMC系统中的滤波器的设计问题。根据构建的单用户FBMC系统模型,当存在信道干扰和用户载波频偏的情况下,推导接收信号的公式,对接收的信号进行分析。进一步的,考虑信道估计对滤波器设计的影响下,以通阻带性能为目标,构建原型滤波器的优化模型;通过对问题的转化,给出相应迭代算法求解优化问题,通过仿真验证滤波器设计的性能。最后,对于多用户的情况下的FBMC系统,进行资源分配算法的研究。在MUMIMO-FBMC系统的技术模型下,推导接收的信号公式,给出FBMC系统用户的最小均方误差的排序串行干扰消除(Minimum Mean Square Error-Ordered Successive Interference Cancellation,MMSE-OSIC)检测算法,进一步给出系统中用户容量求解公式,同时考虑滤波器性能对用户容量的影响,建立系统用户容量最大化的资源分配模型;通过对资源分配问题的进一步的转化,基于给定的子载波分组,将组合优化问题分拆成子问题,然后提出一种迭代K-Means用户聚类算法(Iterative K-Means Propagation User Clustering Algorithm,IKM)用于求解该问题;在算法求解过程中,首先,设计用户组使用的滤波器,进一步的利用MMSE-OSIC算法和检测顺序结合,降低了系统的重复计算;通过仿真对所提的IKM算法的性能与出传统的分支定界算法性能进行对比。仿真结果显示所提出的IKM算法可以满足计算复杂度低和快速求解的要求,同时保证了系统吞吐量最大化。