无线通信技术的飞速发展带来了高速率、随时的网络接入,从而吸引了大量的用户。同时,无线系统用户的需求逐渐由语音通话转变为数据流量,这对系统的容量以及频谱效率提出了新的严峻要求。为了应对这种爆发式的流量增长需求,提出了分层异构网络技术。由于频谱资源的稀缺,异构节点的密集部署必然导致网络中产生严重的同层干扰和跨层干扰,因此如何有效管理分层异构网络中的干扰以进一步提升系统频谱效率显得迫切而重要。近年来,基于博弈论的研究方法在无线通信系统中获得越来越多的应用,并且相比于传统方法取得了显著的性能提升。因此结合博弈论的干扰协调技术具有重大的研究意义和应用价值。本论文研究了分层异构无线网络中基于博弈论的干扰协调技术,并分别从非合作博弈与合作博弈的角度进行了研究。首先,从非合作斯坦科尔伯格博弈的角度出发,以异构Device-to-Device (D2D)网络为例,研究了基于功率控制的干扰管理技术。将D2D链路和宏蜂窝链路分别建模为模型中的追随者和领导者,并且领导者和追随者均以最大化自身效益为目标。本文通过详尽的理论分析证明了均衡的存在性和唯一性。在价格更新过程中,首次引入权重因子,综合考虑了宏蜂窝性能和D2D链路性能。仿真结果验证了功率和价格迭代的收敛性,同时也表明,通过灵活调整价格权重因子可以在领导者和追随者的性能间做出合理的折中。其次,将联盟博弈思想引入到Small Cell网络中,促进异构节点的合作,有效抑制了联盟内各成员干扰。本论文提出了一种新颖的结盟准则defection order,在不损害异构节点自身性能的前提下鼓励合作。基于该准则进一步提出了自最优联盟形成算法,并对其性质进行了详细的理论分析。仿真结果验证了算法的收敛性、低复杂度与公平性,并且表明,相比于非合作算法和基于广播的合作方法,本论文的方法可以显著提升系统性能。