在频谱资源紧缺、空口技术提升容量有限的现状下,无线网络架构的革新被认为是支撑网络容量需求指数级增长的基础。在传统宏蜂窝覆盖范围内密集部署小蜂窝网络,可实现多层覆盖增强和边缘用户性能改善,使得无线通信环境具有密集和异构特征,成为了未来无线移动通信的主要存在形式。然而,由于小蜂窝的频率复用和密集部署,密集异构无线环境存在宏蜂窝与小蜂窝间同频复用的跨层干扰以及小蜂窝间共享频谱的同层干扰。通过采用认知无线电的频谱共享技术,小蜂窝网络(认知网络)智能重用宏蜂窝(授权网络)的授权频谱资源,同时规避与授权网络和多个认知网络之间的有害干扰,成为了解决密集异构无线环境中复杂干扰问题的有效手段。传统的频谱共享技术利用存在的频谱机会(包含时域、频域、空域、功率域、距离域以及码域等),使得认知网络和授权网络动态访问同一频段。密集异构无线环境中,传统的频谱共享技术面临着可用频谱机会减少的问题。除以上无线资源之外,作为信号本质属性的极化信息也是可被利用的重要资源。在传统频谱共享技术的基础上,论文通过挖掘极化信息蕴含的极化资源,研究基于极化信号处理的频谱共享技术,可实现认知网络和授权网络的同时同频同空间共存,进一步提升密集异构无线环境的频谱效率。论文以国家自然科学基金项目“密集异构无线环境下极化资源感知与利用研究”(项目编号:61571062)为依托,围绕密集异构无线环境具体包含的异构蜂窝网络、密集小蜂窝网络和密集异构蜂窝网络三种网络模型,探索挖掘基于极化信号处理的频谱共享新理论和新方法,有效避免频率复用所引入复杂干扰带来频谱效率的性能损伤,使得提升系统整体容量的目标真正得以实现。论文具体研究工作如下:(1)对密集异构无线环境、传统的频谱共享技术和基于极化信号处理的频谱共享技术进行了综述和分析。首先归纳了密集异构无线环境的研究现状,指出了干扰问题是制约容量增长的关键问题。其次对解决干扰问题的认知无线电频谱共享技术进行了总结,分析了密集异构无线环境中传统频谱共享技术面临的资源不足问题。然后梳理了极化信号处理技术的研究现状,重点分析了无线通信中极化信号处理技术的研究进展。最后总结了现有的基于极化信号处理的频谱共享技术,指出了在密集异构无线环境中研究基于极化信号处理的频谱共享技术的可行性和性能增益。(2)在异构蜂窝网络中,针对宏蜂窝和小蜂窝同频部署导致的跨层干扰问题,论文提出了异构蜂窝网络中极化域频谱共享方法以及极化-功率域协同的频谱共享方法,实现了宏蜂窝和小蜂窝间的无干扰共存。首先在避免对授权网络产生有害干扰的前提下,挖掘认知网络可利用的极化资源,提出了异构蜂窝网络中极化域频谱共享方法。其次根据小蜂窝发送功率受限的特征,提出了极化—功率域协同的频谱共享方法,在利用极化资源的基础上增加功率域自由度,提高极化域频谱共享的频谱效率。(3)在密集小蜂窝网络中,针对密集部署的小蜂窝之间同频部署导致的同层干扰问题,论文通过挖掘密集小蜂窝网络中的极化资源,建立了密集小蜂窝网络中基于极化信号处理的频谱共享模型,提出了密集小蜂窝网络中极化—多域协同的频谱共享算法,增加了密集小蜂窝网络频谱共享的自由度。分析和仿真结果表明,相比于密集小蜂窝网络中的传统频谱共享算法,论文所提的极化—多域协同的频谱共享算法通过增加极化自由度,实现了密集小蜂窝网络整体容量的提升。(4)在密集异构蜂窝网络中,针对同时存在的宏蜂窝与小蜂窝间的跨层干扰以及密集小蜂窝网络间的同层干扰问题,论文挖掘认知网络规避对授权网络产生有害干扰时所能利用的极化资源和多域资源范围的频谱机会,提出了密集异构蜂窝网络中基于极化—多域协同的频谱共享方法,实现了宏蜂窝和密集部署的小蜂窝的同时同频同空间共存。分析和仿真结果验证了挖掘极化资源与多域资源结合对于密集异构蜂窝网络资源的利用和系统整体容量的提升的重要意义。论文充分挖掘极化资源,同时结合传统无线资源实现多域资源的协同优化,针对异构蜂窝网络、密集小蜂窝网络和密集异构蜂窝网络的频谱共享方法展开了系统研究。本文取得的研究成果对于提高未来无线通信系统的频谱效率具有一定的借鉴意义。