随着无线通信技术的发展,多天线、先进编码等技术的使用使得系统的谱效率和可靠性得到了极大的提高。但是,越来越庞大的用户群势必带来更加严重的用户间信号干扰。如何有效地降低用户间的信号干扰,是无线通信领域亟需解决的难题。本文针对多用户高斯干扰信道,深入研究了多层叠加编码调制技术,提出了基于BICM-ID的干扰信道多层叠加编码调制系统并将其与高阶调制技术结合,提高了系统的谱效率。首先,本文对干扰信道的可达速率区域进行了研究。以两用户干扰信道为切入点,针对高斯弱干扰信道的容量区域,介绍了HK策略,给出Han-Kobayashi可达速率区域(HK内界)。然后计算并仿真实现了BPSK输入下两用户强、弱干扰信道的容量区域。我们结合循环对称干扰信道,以可达速率和作为参考标准,仿真分析了自适应分裂方案、ETW分裂方案、对称分裂方案和正交传输方案四种不同功率分配方案在不同信噪比下的性能。接着,本文引入了多层编码调制技术。以多层编码调制系统为基础,研究了点对点信道的叠加编码调制系统,仿真比较了多层编码调制系统采用串行迭代译码方案和并行迭代译码方案的性能;同时针对多层编码调制系统采用串行的多级迭代译码和分层叠加编码调制系统采用并行、串行的多级迭代译码进行仿真,结果表明分层叠加编码调制系统性能更优。然后本文基于两用户标准高斯干扰信道模型,引入了BICM-ID技术方案,实现了强、弱干扰信道的BICM-ID传输系统。在给定的仿真条件下得到本方案的可达速率对与不同输入下的理论可达速率区域的对比。接着将强、弱干扰信道的BICM-ID传输系统和多层叠加编码调制技术相结合,提出了基于BICM-ID的干扰信道多层叠加编码调制系统,仿真结果表明本文提出的多层叠加编码调制系统具有更好的误码率性能。然后,针对基于BICM-ID的干扰信道多层叠加编码调制系统的分量码,根据系统结构改变分量码的译码方案使误码率性能又有所提升。最后引入高阶调制技术,提出了高阶的多层叠加编码调制系统,实现了谱效率的提升。