随着移动用户对通信需求的飞速增长,迫切需要更高的数据速率、更高的频谱利用率和更低的实现复杂度的宽带通信技术来满足无线通信的需求。MIMO技术可以实现更高频谱利用率的宽带无线通信,但在实际应用中也存在信道间干扰、天线间同步、多射频链路、系统功耗大和因信道间干扰解调复杂度高等问题,特别是在大天线系统中尤为突出。空间调制(Spatial Modulation,SM)技术作为一种新的多天线传输技术,可以缓解传统MIMO系统的上述缺陷,成为目前无线通信研究的热点问题,并有可能成为下一代无线通信的候选方案。本文以此为背景,针对最大似然ML检测算法计算量较高的问题,深入研究了空间调制系统接收端的信号检测问题,以及广义空移键控(Generalized Space Shift Keying,GSSK)系统接收端的信号检测问题,论文的主要工作包括:(1)研究了空间调制系统已有的信号检测算法,并着重地研究了基于M算法的ML(M-algorithmtoML,MML)算法。算法的树形结构图每层保留的节点数量直接影响算法的计算复杂度和检测性能,本文采用从树形结构图第一层到最后一层保留节点数的近似等比下降的固定M值选取方法和自适应保留各层节点数的动态M值选取方法。另外树形结构图的计算顺序也直接影响算法的检测性能,本文分别从信道增益角度、接收信号强度角度、以及综合考虑信道增益和接收信号强度角度提出了改进的MML算法。分析比较了所提改进MML算法和现有检测算法的优缺点,从理论和仿真角度给出了算法的检测性能和计算复杂度。实验结果表明所提的改进算法与MML算法的计算复杂度相同,同时检测性能优于MML算法。(2)研究了广义空移键控系统的信号检测算法,针对广义空移键控系统的发送信号矢量各元素的二值特点,将广义空移键控信号的检测问题转化为二进制二次规划问题,提出了基于二进制二次规划全局最优性条件的广义空移键控信号的检测算法。分析比较了所提算法与现有检测算法的计算复杂度和检测性能,并从理论和仿真角度给出了发送信号矢量各元素基于最优判决准则的检测概率。实验结果表明所提算法的检测性能接近最优检测性能,同时计算复杂度低于ML算法。(3)从稀疏重构角度对激活天线数远小于发送天线数的广义空移键控系统的信号检测问题进行了研究。当激活天线数远小于发送天线数时,发送信号矢量具有稀疏特性。基于此提出了两种基于稀疏重构理论的检测算法,SR(Sparse Reconstruction)算法和ISR(Iterative SR)算法。SR算法采用非下凸的反正切惩罚函数,可以获得比e1范数正则化更好的结果,检测性能优于其它的稀疏检测算法。为了获得更好的检测性能,ISR算法对SR算法的优化结果进行多次迭代。分析比较了所提算法与已有的基于稀疏重构理论的检测算法的计算复杂度和检测性能,计算机仿真表明,木文所提算法的检测性能均优于已有的基于稀疏重构理论的检测算法。