近年来,5G通信系统开始引起越来越多的研究兴趣。相比于4G,5G最大的挑战是需要实现更高的系统吞吐量。为了满足这一需求,人们相继提出了大规模天线技术(Massive MIMO)和小基站异构网络技术。相比于Massive MIMO技术利用多天线的阵列增益来提升频谱效率,小基站异构网络则是通过大量部署小基站来增强区域覆盖效果,最终实现显著的频谱效率提升。然而,异构网络下复杂的层间干扰和层内干扰却会严重制约系统的性能,因此,如何有效地抑制这些干扰是一个亟待解决的问题。本论文从Massive MIMO和小基站异构网络相结合的场景出发,提出了一系列的异构网络干扰协调方案,主要研究内容概述如下:本文首先研究了基于MIMO预编码优化的异构网络干扰协调问题。小基站异构网络和MassiveMIMO是5G网络中两项充满前景的技术,然而,如何将MassiveMIMO和小基站异构网络有效结合,充分利用各自的优势来消除异构网络中的干扰则是一个充满挑战的问题。于是,在本文中我们将Massive MIMO同时应用到宏基站(MBS)和小基站端(SBS),建立了一个通用的两层异构网络模型。通过对干扰信号的详细分析,我们提出了 一种基于迫零(ZF)预编码的MIMO预编码优化方案,其核心实质是利用Massive MIMO富余的空间自由度牺牲本地信道的增益来换取干扰信道上的干扰消除,数学推导和数值仿真都表明了我们提出的方案确实能够有效消除层间干扰和层内干扰。其次,本文研究了大规模天线阵列下全双工异构网络的干扰协调问题。同Massive MIMO和小基站异构网络一样,全双工(Full Duplex)技术也是5G网络中用来提升频谱效率的关键技术之一。目前已经有研究表明了 Massive MIMO和Full Duplex技术在异构网络干扰协调上都是可行的,然而更加细致的关于如何有效结合这三种关键技术来实现干扰协调的分析在当前依然是欠缺的。于是,我们建立了一个两层异构网络的下行链路模型,其中MBS端装配了MassiveMIMO,SBS端应用了FullDuplex技术,并且SBS端的全双工模式分为带内全双工和带外全双工两种模式,该两种模式下异构网络的干扰类型会有很大的区别,因此我们必须合理设计模式选择策略。为了抑制干扰并且使得系统吞吐量最大化,我们提出了两种中心式算法来进行模式选择。特别地,为了有效地降低MBS端的计算成本,我们又提出了一种分布式算法,该算法使得每个SBS能够自我决定模式的选择。最后,数值仿真表明我们提出的三种算法确实能够有效提升系统性能,而且这三种算法在系统性能和运算成本上各有优劣。最后,本文研究了基于负载均衡的MassiveMIMO异构网络用户资源分配问题。在异构网络中,由于基站间的发射功率,覆盖范围等有着很大的不同,如何让用户选择合适的基站进行关联,合理协调异构网络中的干扰来实现最优的系统性能则是一个重要的负载均衡问题。对于MassiveMIMO而言,系统的功率损耗会随着天线数而显著增加,因此为了平衡系统的能量效率,这种情况下用户的负载均衡问题又会区别于传统异构网络。在本文中,我们考虑了一个MBS端装配有MassiveMIMO的两层异构网络,研究了该网络场景下的用户关联和资源分配策略。为了在满足用户服务质量(QoS)保障的同时最小化系统的总功率损耗,我们将这个用户资源分配问题建模为了一个组合优化问题,但是离散变量的存在使得该问题难以求解。通过一系列的等价变换以及辅助变量的引入,我们将原问题转换成了一个更易求解的形式。最后,我们提出了一个基于凹凸过程(CCCP)的近似最优算法来求解该问题,数值仿真证明了我们提出算法的有效性。