随着现代无线通信技术的高速发展，在蜂窝网络中，约有50%的电话业务和70%以上的数据业务都是在室内发生的，然而调查发现绝大数的家庭和公司都面临着室内信号覆盖差的问题。Femtocell技术可以作为Macrocell在室内覆盖的补充，为用户提供高质量的语音和数据业务，但是Femtocell的引入对现存的Macrocell造成了严重的干扰。因此如何抑制这些干扰对提高通信系统性能具有重要的意义。本文针对Femtocell和Macrocell构成的两层异构网络中的干扰问题，运用认知无线电中的频谱感知技术检测出空洞的频谱资源并将其分配给Femtocell使用，达到抑制干扰和提高频谱资源利用率的目的。本文介绍了Femtocell的关键技术，分析了两层异构网络中复杂的干扰场景，对认知无线电的概念、特征和关键技术进行了详细的介绍，并将频谱感知技术作为研究重点，详细的描述和分析了单节点频谱感知技术和协作频谱感知技术，推导出不同感知算法的检测概率和虚警概率，并对这些算法的优缺点进行了比较，在研究Femtocell网络中的干扰场景和频谱感知理论的基础上，本文提出了一种基于双门限的两层协作频谱感知技术，推导出了Femtocell用户的检测概率和虚警概率，给出了Femtocell用户感知信息两比特编码的融合准则，并给出了算法的具体实施方法。仿真结果表明所提的基于双门限的两层协作频谱感知技术能够有效的提高Femtocell用户的频谱检测概率，并且通过对Femtocell网络中感知信息进行两比特编码后再融合可以有效提高整个系统的检测性能，抗噪声能力强。文中还研究了粒子群优化（Particle Swarm Optimization, PSO）算法，以此为基础本文提出了一种基于粒子群优化算法的频谱感知技术，给出了多用户多天线Femtocell系统的协作频谱感知模型，推导出多个Femtocell用户协作频谱感知的全局检测概率，在给定虚警概率的前提下，在融合中心基于粒子群优化算法优化分配每个Femtocell用户感知信息的权值，最大化系统的全局检测概率，检测出网络中可利用的频谱资源分配给Femtocell使用，提高频谱资源的利用率，并达到抑制干扰的目的。仿真结果表明，粒子群优化算法对协作频谱感知中权值的优化可以最大化系统的检测概率，提高频谱资源的利用率。