近几十年,无线通信技术得到飞速发展,各种新技术和新业务不断涌现,以满足人们对更高速优质通信体验的需求。然而,随着适宜通信的频段被分配殆尽,频谱资源成为制约无线通信技术演进的主要瓶颈之一,频谱共享技术作为解决这些问题的重要途径日益受到人们的重视。传统的频谱共享技术主要围绕认知无线电场景展开,在第5代移动通信技术和物联网技术快速发展的今天,频谱共享技术又被赋予了新的含义,得到了更为广泛的应用,如环境反向散射通信和高速铁路移动通信等。频谱共享的核心思想是在同一空间内,两个及以上的无线通信系统共同利用同一段频谱分别进行通信以提高频谱的有效利用率。在这种多个主体共存的空间中,主体之间的相互干扰、共同利用空间中资源时产生的冲突在所难免。那么如何合理地设计系统使得系统中各主体之间能够和谐共处、高效有序的利用资源就具有重要意义。其中的一项关键要素就是对空间中其他主体行为的感知。对应于频谱共享系统,设计有效的检测算法以感知各通信系统对频谱的占用情况就成为举足轻重的一个课题,同时,精确的检测算法又能够优化整个频谱共享系统的通信效率,提高系统的吞吐量。本论文围绕着基于频谱共享的无线通信系统的检测算法及其对系统性能的影响展开研究,针对基于认知通信的频谱共享网络,提出多种适用于不同场景的频谱感知算法,分析了频谱感知对系统容量性能的影响,探究了高速移动场景下频谱共享用户的遍历容量性能,最后研究了基于环境反向散射的频谱共享网络中存在的次用户信号检测问题。论文的创新性工作主要包括如下几个方面:(1)传统的频谱感知算法通常只能分辨主用户是否工作两种状态,随着通信技术的发展,越来越多的授权频段用户发射机具备功率控制功能,可以实现在多个发射功率之间切换,本文设计一种基于协作用户信息软合并的频谱感知算法,在感知主用户是否工作的同时,可以检测得到主用户所使用的发射功率,并应用此信息对次用户的吞吐量进行优化。此外还针对该场景的特殊性,分析了次用户对主用户所使用发射功率分辨能力对系统吞吐量的影响,研究发现次用户并不需要检测出全部的主用户发射功率就可以实现与全部检测相近的吞吐量性能,这一发现有助于系统的优化设计;(2)针对基于能量检测的频谱感知算法在低信噪比场景下检测精度受限的问题,设计了一种基于信号循环平稳特性的协作检测算法,对噪声的概率密度分布没有特定假设的要求,具有更好的普适性;同时针对传统循环平稳检测需要预知主用户信号循环频率的问题,利用参与协作的各个次用户接收到的信号构建具备循环平稳特征的检测样本,有效解决了这一问题;(3)以高速铁路移动通信为背景,引入车顶中继天线,实现车内用户与路面基站的通信,建立了相应的时变频选信道中继通信系统模型,研究当车厢内用户以频谱共享方式接入车厢内热点后所能获得的信道遍历容量,推导得到了容量上界和下界的闭合表达式,同时得到了高信噪比下近似结果的闭合表达式。随着高速铁路的快速发展,高速移动场景下的通信问题受到学术界的日益重视,所得到的理论结果补充了目前在高速移动场景下时变频选中继信道遍历容量分析方面研究的不足,可以为构建车内频谱共享网络提供上层决策和资源管理方面的性能参考;(4)研究了基于环境反向散射通信技术的频谱共享网络,当标签可以实现两种对环境信号的处理状态时,利用差分编码降低检测对信道状态信息的依赖,设计了一种基于中心极限定理的能量检测算法;当标签可以实现三种不同状态时,提出了一种可以使误码率最小的三进制编码策略,并设计了相应的检测器,分析并推导了其误码性能的闭合表达式,证明了其在高信噪比区域存在地板效应。最后通过仿真验证了当标签具有三种状态时能有效改善环境反向散射通信系统速率受限的问题。