对更高数据速率,更好服务质量,完全移动和连接无线网络的需求日益增加,使得研究人员努力寻求新的超越4G无线系统解决方案。空间调制(Spatial Modulation,SM)技术已经成为当今无线通信领域研究热点之一,该技术利用激活天线作为数字调制,使发射天线索引信息成为了一种额外的数据携带方式,实现了高速率和可靠传输。SM与空时编码技术相结合,既能够提高系统的分集增益,又能够获得更高的频谱效率。本论文基于空间调制和空时编码两种技术,对空间调制的信号检测算法及基于空间调制的空时编码方案进行了深入地研究,具体工作归纳如下:1.研究了空间调制和空时编码两种多天线传输技术的基本原理、系统模型。对两种多天线传输技术进行了理论分析和性能对比。2.提出了比特交织编码的空间调制系统。空间调制系统接收端需要对发送天线和发送符号进行联合检测,针对该系统中发送天线和该天线上发送符号之间有着极大的相关性,信号检测过程中未能获得最优性能的问题,本文提出了比特交织编码的空间调制系统。然后,在此基础上针对传统信号检测算法复杂度较高与不能输出软输出的情况,本文对编码的空间调制系统提出了低复杂度的软输出检测算法,最后,将提出的新算法和其它检测算法进行了性能仿真和结果分析,验证了所提算法能够进一步提升系统性能的同时复杂度得到了很大地降低。3.提出了一种基于空间调制的满分集空时编码方案。传统基于空间调制的空时编码方案相比空间调制方案具有更高的数据传输速率,但是不能获得满分集增益,本文通过对传输符号进行预处理及对传输码字进行星座旋转的设计,提出了一种基于空间调制的满分集空时编码方案。并且证明了该方案能够获得满分集。将新提出的方案与SM和几种基于空间调制的空时编码方案进行分析对比,证明了所提出方案相比传统传输方案在相同频谱效率的情况下能够获得更好的性能。