异构网技术是下一代移动网络的关键技术之一。由于在传统的蜂窝网络中引入了不同类型的小功率节点,异构网络的拓扑结构和干扰关系都相较于蜂窝网络变得更为复杂,仅依托传统方法难以进行有效的干扰管理。而干扰抑制技术(IC)正是异构网环境下干扰管理的一项主要思想。频谱资源作为一种不可再生的有限的网络资源,合理、有效地分配方法是异构网干扰抑制领域很主要的一个方向。近年来,图论、博弈论等数学工具被广泛用于无线通信学科领域,随着它们理论学说和数值算法的日益完善,越来越多地被用于分析网络资源的分配和控制问题,用以建立合适的算法模型。首先,对由于引入小功率基站而引起的跨层干扰抑制问题进行研究。由于基站的不对称性,采用主从模式的Stackelberg博弈方式,提出一种改进的频谱资源分配算法。为解决多数算法严重的信令开销的问题,在定义效用函数时采用频谱出让的方式。同时,算法考虑系统总体吞吐量的最大化,算法令基站追求自身能效的最大化,通过调整自身所拥有的频谱资源来实现系统整体能效的优化。其次,对单个宏基站覆盖区域内异构网络环境下的共信道干扰(包括跨层干扰和同层干扰)抑制问题进行研究。兼顾不同用户的传输需求,弥补传统分簇算法中频段复用率低、Femto基站吞吐量低的缺点,结合图论思想和博弈理论,提出了一种混合分簇博弈算法。该算法首先依据基站和用户的位置信息建立区域平均信道状态矩阵判别干扰链路的强度,将聚类的划分问题演变成图论中的最大K-切割问题。然后应用博弈理论中的拍卖模型,建立具有单个拍卖者和多个竞价者的频谱共享模型,为同一簇中的用户分配频谱资源,可以有效地提升系统性能。最后,论文研究了多个宏小区系统的异构网干扰抑制问题。对于异构网多小区干扰管理问题,推广单层网络中时频域联合分配的思想,构建基于异构网络的联合时频域复用方案。时频域方案分别是针对宏小区间干扰的频谱复用方案和针对小区内干扰的几乎空白子帧(ABS)。推广的方案建立了一种基于异构网的频谱和时隙选择模型,并采用博弈论思想解决最优化问题。验证分析证明了时频域资源复用模型是一个可应用于异构网的势博弈模型,分布式算法具有收敛性,可以有效地提高网络的吞吐量。