随着各种新型业务不断的涌现,设备数目与数据流量激增,给第五代移动通信(The Fifth Generation Mobile Communications,5G)网络带来了巨大的挑战。为了提高5G系统的容量,超密集部署成为5G系统的重要特征。在超密集网络(Ultra Dense Networks,UDN)中,小区覆盖范围变小,小区间干扰变得愈加严重,切换现象更加频繁。同时由于用户移动性而引起的信号快速变化,导致切换失败概率变大,增加系统信令开销。授权频谱的稀缺性也成为了限制系统容量提升的主要瓶颈,而非授权频谱的使用存在无法保证服务质量(Quality of Service,QoS)、冲突概率高以及频谱效率低等缺点。在协作通信中,通过多个基站间的相互协作,可以抑制小区间的干扰,降低切换失败概率以及非授权频谱使用过程中的冲突概率。因此,协作通信被认为是5G中最有前景的技术之一。为了提高系统的容量,本文开展了面向5G的协作通信先进技术研究。通过使用协作通信技术,从先进物理层技术、新型网络架构以及扩展更多频谱三个方面进一步提高系统容量:(1)将协作通信与自适应调制技术、低密度奇偶校验码(Low-density Parity-check Code,LDPC)码相结合提高频谱效率;(2)通过在UDN中使用协作通信,有效解决移动性管理问题;(3)在新空口免授权频谱(New Radio in Unlicensed Spectrum,NR-U)中使用协作通信则可以保证用户在使用非授权频段时的QoS,并降低冲突概率,提高频谱效率。其主要研究内容如下:(1)协作通信自适应传输策略及性能分析为了提高5G系统的频谱效率,本文提出了协作通信功率、速率自适应调制策略。推导出了动态发送点选择/静默(Dynamic Point Selec-tion/Dynamic Point Blanking,DPS/DPB)协作多点传输(Coordinated Multi-point Transmission,CoMP)系统中接收信号信干噪比(Signal-to-Interference plus Noise Ratio,SINR)的概率密度函数(Probability Density Function,PDF),基于推导出的PDF,求出了速率、功率自适应,以及速率和功率保持恒定时平均频谱效率(Average Spectral Efficiency,ASE)的闭式表达式。利用拉格朗日乘子法,分析了瞬时误比特率(Bit Error Rate,BER)和平均BER约束下离散速率的ASE、SINR的切换门限值以及功率分配方案。仿真结果表明,采用DPS/DPB CoMP后,系统的ASE提高了 2.62bit/s/Hz。当信道质量较差时,发送功率是提高ASE的关键参数,功率恒定时,系统的ASE下降了 42.46%,当信道质量较好时,传输速率是提高ASE的关键参数,速率恒定时,系统的ASE下降了 24.76%。当信道条件较差时,采用基于LDPC码的自适应调制编码后,系统ASE提升了 52.41%。(2)超密集网络中基于协作的移动性管理方案UDN网络中,小小区密集部署后,小区间距离减小,同时由于用户移动性而引起的信号快速变化,将会引起切换失败、频繁切换以及信令开销增加等问题。针对UDN网络中复杂的移动性管理问题,本文采用基于联合传输(Joint Transmission,JT)CoMP的移动性管理方案。将强化学习方法引入协作集合的选择与划分,提出一种面向超密集网络基于强化学习的移动性管理方案。在基于强化学习Actor-Critic的协作集合选择算法中,行动者使用策略梯度的方法生成参数化的策略,并逐步优化策略中的参数,评论家基于价值函数对行动者的策略进行评价。通过仿真结果可以看出,本文所提出的协作集合选择算法,使得切换失败概率降低了 71.02%,用户的吞吐量提升了 58.01%。(3)非授权频段基于LBT的协作传输方案设计UDN中使用非授权频段时,越来越多的NR-U基站试图接入信道,因此不同站点发生冲突的概率提高,导致NR-U站点重复退避,降低了非授权频谱的效率。同时由于非授权频段采用基于竞争的随机接入协议,无法保证NR-U用户的QoS。本文设计了一种新的对话前监听(Listen Before Talk,LBT)协议——协作LBT。在协作LBT中,当多个NR-U站点同时接入信道时,可以通过协作通信共同使用信道,从而避免冲突,提高数据传输速率。基于新设计的协议,建立了一个(N+3)个状态的半马尔科夫模型,表征非授权频段基于协作通信的有效容量。同时利用拉格朗日对偶分解法,在有限回程容量与最大发射功率的限制下,保证用户QoS的同时,最大化系统的有效容量。仿真结果表明,本文所提出的协作LBT可以使得冲突概率由0.4928下降到0.1632,同时有效容量提升了 220.04%。