近年来,随着无线通信技术的不断发展,丰富的移动数字服务的需求日新月异,这要求蜂窝移动通信具有更高的数据传输速率、更低的传输延迟以及更高的传输可靠性。广义频分复用(GFDM,Generalized Frequency Division Multiplexing)是一种基于循环块结构的非正交多载波技术,具有高时频聚焦性、对载波频偏和定时误差不敏感、时频资源调度灵活和通用性强等优点,可满足下一代移动通信的需求。但是,与传统多载波技术一样,GFDM发射信号也面临着高峰均功率比(PAPR,Peak-Average Power Ratio)的问题。与此同时,作为非正交系统,其内部干扰是影响传输可靠性的重要因素。因此,GFDM系统PAPR抑制和内部干扰消除技术已成为国内外研究热点。本文的主要工作和创新点如下:首先,推导了临界采样及过采样GFDM发射信号PAPR的互补累计分布函数(CCDF,Complementary Cumulative Distribution Function)的理论表达式,其在子载波数较大(K≥ 64)时能准确地描述GFDM信号PAPR的分布。该式可作为多载波系统,包括正交频分复用(OFDM,Orthogonal Frequency Division Multiplexing)和偏移正交幅度调制的滤波器组多载波(OQAM/FBMC,Offset Quadrature Amplitude Modulation/Filter Bank Multi-Carrier)的PAPR-CCDF通用表达式。该表达式对于GFDM系统PAPR特性分析以及PAPR抑制算法设计都具有重要参考意义。然后,以最小化GFDM信号PAPR的CCDF值为目标,解出最优化滤波器的设计形式,以此作为滤波器的最优化设计准则。基于此设计准则,提出了一种简易实用的PAPR测度方法,用于快速评估采用某滤波器时GFDM信号的PAPR。还证明了该滤波器设计形式可最小化GFDM信号的瞬时功率方差(VIP,Variance of Instantaneous Power)。将上述最优化设计准则与GFDM系统中已有的其他最优化设计准则进行了兼容性分析,表明不存在同时满足PAPR最小化、传输速率最大化与接收信号均方误差(MSE,Mean Square Error)最小化的最优滤波器形式。该最优化滤波器设计准则和PAPR测度方法对于实际应用中的滤波器设计具有重要指导意义。其次,利用推导出的PAPR-CCDF理论表达式,对GFDM、OFDM和OQAM/FBMC三个系统进行了全面和合理的PAPR对比分析。再次,提出了两种新型非线性压扩算法,用于降低发射端GFDM信号的PAPR。同时设计了一种适用于上述两种压扩算法的迭代接收算法用于解决接收机反压扩函数输入范围受限的问题,并减少接收信号中的内部干扰和压扩/反压扩导致的信号失真。与现有的GFDM系统PAPR抑制算法相比,这两种非线性压扩算法和迭代接收算法的结合可以提供更好的PAPR抑制效果和BER性能。最后,提出了一种低带外辐射功率的奇偶双滤波器干扰消除算法,即用于奇数次序子载波的奇滤波器与用于偶数次序子载波的偶滤波器在时域上满足四倍子符号数的块交织条件,可完全消除GFDM内部干扰并保证良好的频谱聚焦性。论文最后对全文工作进行了总结,并对下一步工作进行了展望。