多输入多输出(Multiple-Input Multiple-Output,MIMO)技术在发射和接收端同时采用多根天线进行数据收发,通过挖掘空间维度资源来显著提升通信系统的功率效率和频谱效率。但现有的MIMO传输技术存在结构复杂、实现成本高等局限。随着MIMO技术研究的深入,空间调制(Spatial Modulation,SM)作为一种低复杂﹑低成本的新型MIMO传输技术应运而生,得到学术界广泛的关注和研究。空间调制技术利用MIMO信道资源,以天线的激活状态作为调制手段以实现数据的传输,这种传输技术不仅能够简化MIMO的结构和降低实现复杂度,还能满足未来通信系统多样化的链路配置要求。发射信号设计和接收信号检测和是数字通信的关键技术。本论文以空间调制中的符号优化设计和信号检测为主要研究对象,系统地研究了空间调制中的误码率性能分析和检测算法﹑离散域信息比特的传输配置形式优化问题以及连续域中空间调制系统发射向量优化问题。最后,在分布式多天线系统中,探索了空间调制的协同传输网络的设计﹑信号检测和性能分析方法。全文的主要创新点包括:利用空间调制系统单天线激活的特性,首先提出了基于概率排序的球形译码(Sphere Decoder,SD)算法和分步式匹配滤波(Match Filtering,MF)检测算法,分析比较了各类检测算法的复杂度,给出了算法实现的简化方案。其次,论文联合信道编码,把基于概率排序的分步式MF算法扩展到软输出情形。仿真结果表明,所提算法能灵活权衡系统的比特错误率(Bit Error Ratio,BER)性能与检测复杂度。针对有限反馈信道中空间调制信息比特传输配置的问题,研究了自适应调制(Adaptive Modulation,AM)算法、自适应模式切换算法(Transmit Mode Switching,TMS)算法以及两者结合方案在空间调制系统中的应用,提出了三种空间调制自适应传输方案。所提方案利用获得的有限反馈信道信息灵活配置发射天线的调制方式和发射天线的数目,在离散域内进行发射比特优化分配以提升BER性能。其次,论文推导了所提自适应方案的优化准则并比较了各类自适应方案的复杂度与反馈量。特别地,针对自适应空间调制方案,通过分析备选集合元素的选择概率,论文提出了两种低复杂度的自适应算法。仿真结果表明,本文所提出的自适应空间调制系统相比现有系统具有明显的BER性能优势。为提高系统对瞬变信道的鲁棒性,本文基于空间调制的传输特点,在连续域内进行了发射端预编码矩阵设计的研究,推导了预编码矩阵的设计准则,提出了基于功率分配和相位旋转的预编码方案。为降低预编码矩阵求解的复杂度,本文研究了功率分配预编码的两种简化算法:基于贪婪算法的功率分配和基于最差情形优先的功率分配算法。进一步,通过理论推导揭示了功率分配和AM技术利用了系统空间信道的不同自由度,从而提出了联合功率分配和AM技术的空间调制方案。仿真结果显示,所提基于预编码的空间调制系统相比传统空间调制系统有显著的BER性能增益。协作中继传输已经成为移动通信的研究热点之一。为获得中继中的空间分集增益,论文提出了基于检测转发(Detect and Forward,DeF)的三种中继传输协议。首先推导了空间调制中天线索引比特与幅度相位比特的BER性能上界,揭示了传统空间调制系统中两类型比特信息不足以支持不等错误保护(Unequal Error Protection,UEP)。基于以上理论基础,本文在中继节点引入分层调制技术,以灵活地权衡基于DeF协议的空间调制协同系统中对于BER和UEP的不同需求。此外,通过理论分析方法推导了所提方案的BER性能理论上界,证明了所得到的上界随着SNR的增加是渐进紧的。此外,本文针对基于DeF的空间调制协同系统的检测问题,提出了简化的联合检测算法。仿真结果证明所提出的新系统和新算法相比传统MIMO协同系统,能获得更好的传输性能。