在移动通信系统中,多址接入技术是将无线资源划分为正交或非正交的资源块,然后把这些资源块按照一定的依据分配给用户用于通信。每一代移动通信系统的更新,都伴随着革新的多址接入技术出现,因此,物理层的多址接入技术成为了移动通信系统更新换代的标志性技术。为了满足第五代移动通信(Fifth Generation Mobile Communication System,5G)网络海量接入和超高容量等需求,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术已经成为海内外学术界与产业界的研究焦点。稀疏码多址接入(Sparse Code Multiple Access,SCMA)技术是一种基于码域复用的新型NOMA技术,它将多维调制和稀疏扩频技术相结合,直接把比特数据流映射为预先设定码本里的复数域多维码字。考虑SCMA码本的稀疏特性,消息传递算法(Message Passing Algorithm,MPA)被应用来进行多用户检测,逼近多用户信道的容量边界。由于采用非正交稀疏编码叠加方案,SCMA技术可以在相同数量的时频资源下支持更多的用户连接。未来大规模机器通信(massive Machine Type Communications,mMTC)具有海量设备接入、数据包短、用户传输速率低以及零星通信的特点。在mMTC的应用场景下,免调度NOMA技术由于能够显著降低信令开销、传输时延和用户终端功耗而获得了广泛的关注。因此,面向未来5G,本论文主要就SCMA系统中高性能低复杂度多用户检测和免调度NOMA系统中信号检测等关键技术,展开了一系列深入的研究。针对SCMA系统中的高性能低复杂度检测技术,本论文从两个方面入手:一是通过改变检测过程中消息传递方式,提高检测过程的收敛速度,降低正确检测所需的迭代次数,从而降低算法的计算复杂度;二是降低每个节点消息的计算量,即通过降低每次迭代的计算量的方式来降低算法的计算复杂度。针对免调度NOMA系统中信号检测技术,本论文通过挖掘mMTC场景中两个典型的传输模型(基于帧结构化稀疏的传输模型与基于动态稀疏的传输模型)的结构稀疏特性,从压缩感知理论这一视角出发,提出了一系列全新的信号检测方案。本论文的创新点和贡献如下:1)为了提高SCMA系统中多用户检测算法的收敛速度,本论文通过改善消息传递方式,提出了一系列基于串行策略的MPA多用户检测方案(Serial Scheduling MPA,SS-MPA)。首先,本论文分别提出了基于资源节点(Resource Node,RN)和用户节点(User Node,UN)的串行消息更新策略的检测算法,即SS-MPA-RN和SS-MPA-UN,保证已更新的消息可以及时传递,从而加快检测算法迭代过程的收敛。在此基础上,本论文从消息的检测处理方式和更新次序出发,对提出的基于串行策略的多用户检测算法进行了进一步的优化,分别提出了串并结合的基于用户节点分组的串行消息传递算法(Serial Scheduling MPA based on Group User Node,SS-MPA-GUN)、基于用户节点权重的串行消息传递算法(Serial Scheduling MPA based on Weight of User Node,SS-MPA-WUN),基于残差的动态消息传递算法(Residual Dynamic MPA,R-DMPA)。具体来说,SS-MPA-GUN算法不仅继承了串行检测算法收敛快的优点,并且通过分组内部并行的方式极大地提高了检测速度;SS-MPA-WUN算法利用用户节点权重构造更合理的消息更新次序,在选择用户节点更新顺序时,优先选择使其关联资源节点连接了最多已更新的用户节点的用户节点;R-DMPA算法提出在检测过程中动态选择残差最大的用户节点到资源节点的边来串行更新消息。2)为了降低SCMA系统中多用户检测算法的计算复杂度,本论文提出了一系列低复杂度多用户检测算法。MPA的计算复杂度主要来源于资源节点的消息更新,且随着资源节点有效度数的增加呈现指数级形式的增长。为了降低计算复杂度,本论文提出了一种高斯近似辅助的MPA多用户检测算法(Gaussian Approximation aided MPA,GAA-MPA),通过动态地选择因子图中的边来参与资源节点的消息更新,利用高斯近似机制来估算忽略未选边后对消息造成的影响。接着,本论文将压缩感知思想与MPA检测算法相结合,提出了一种压缩感知辅助的MPA多用户检测算法(Compressive Sending aided MPA,CSA-MPA)。具体来说,此算法将MPA较少迭代后的结果作为初始检测值,并利用稀疏信号恢复算法来修正初始检测的误差。最后,为了平衡下行MIMO-SCMA系统的检测性能与计算复杂度,本论文充分挖掘MIMO信道和SCMA码字的图子图表示形式,构造一个联合稀疏因子图及其对应的虚拟SCMA码本,从而提出了一种联合稀疏因子图辅助的MPA多用户检测算法(Joint Sparse Graph aided MPA,JSG-MPA)。3)为了提高免调度NOMA系统中基于帧结构化稀疏的传输模型的信号检测性能,本论文提出了基于块压缩感知理论的信号检测方案。总体上说,通过充分挖掘并利用帧结构化稀疏结构中潜在的块稀疏特性,本论文在块压缩感知理论框架下提出了直接以整个帧长为单位且不需要事先知道用户活跃度的信号检测方案。具体来说,首先,针对联合用户活跃和数据检测,本论文分别提出了可以逼近性能界的门限辅助的块稀疏自适应子空间追踪算法(Thresholod aided Block Sparsity Adaptive Subspace Pursuit,TA-BSASP)以及不需要任何先验知识的交叉验证辅助的块稀疏自适应子空间追踪算法(Cross Validation aided Block Sparsity Adaptive Subspace Pursuit,CVA-BSASP)。接着,针对基站端没有用户信道状态信息情况,进一步考虑导频符号和数据符号之间的时间相关性,挖掘并利用潜在的帧结构化稀疏结构,本论文提出了一种联合信道估计和数据检测方案(Joint Channel Estimation and Data Detetion,Joint-CE-DD)。另外,在理论分析方面,本论文在压缩感知理论框架下,讨论了两种所提算法的收敛性和计算复杂度。4)为了提高免调度NOMA系统中基于动态稀疏的传输模型的信号检测性能,本论文提出了基于先验信息辅助的压缩感知理论的信号检测方案。首先,引入先验支撑集质量参数,本论文提出了先验信息辅助的自适应子空间追踪算法(Prior-Information aided Adaptive Subspace Pursuit,PIA-ASP)。PIA-ASP算法可以根据先验支撑集质量参数自适应地对先验支撑集进行利用,从而充分挖掘并利用相邻时隙间活跃用户支撑集内在的时间相关特性。此外,针对先验支撑集质量参数过度估计的情况,鲁棒性的先验信息辅助的自适应子空间追踪算法(Robust Prior-Information aided Adaptive Subspace Pursuit,R-PIA-ASP)被进一步提出。R-PIA-ASP算法是以一种比较保守的方式来对先验支撑集进行利用。另外,在理论分析方面,本论文在压缩感知理论框架下,讨论了两种所提算法的收敛性和计算复杂度。本论文得到的上述研究成果,可以发展和完善NOMA理论框架、技术方案和算法,并推动NOMA关键技术在未来无线通信系统中的应用。