近年来,大规模多输入多输出（Multiple-Input Multiple-Output,MIMO）系统因其在传输可靠性、系统容量和频谱效率等方面的优势,成为第五代移动通信(5th Generation Wireless Systems,5G)系统的关键技术之一。然而,大规模MIMO系统仍存在着射频开销大,信道估计困难,检测算法复杂度高等问题。空间调制（Spatial Modulation,SM）拥有能量效率高、硬件成本低等优势,是一种新兴的MIMO技术。鉴于此,本文将围绕基于大规模MIMO系统的SM技术展开研究。首先,论文对SM技术的研究现状、基本原理、系统模型等进行概述,仿真比较了SM系统中几种常用的信号检测算法,并对SM系统的误码率（Bit Error Rate,BER）性能进行理论分析与仿真。其次,将SM技术与基于混合架构的大规模MIMO系统相结合,提出了一种基于统计信道状态信息的混合大规模SM系统。在单用户场景中,设计了一种阵列增益控制方案,通过给基站不同的天线阵列赋予不同的阵列增益控制因子,降低基站大规模天线阵列间的信道相关性,仿真结果验证了该方案的有效性。在多用户场景中,提出了一种基于统计信道状态信息的模拟波束赋形向量设计准则,降低用户间的干扰,获得较好的系统性能。最后分别在单用户和多用户场景下,分析了混合大规模SM系统可达速率的上界,下界及其闭式解的近似值。最后,基于差分空间调制原理,提出一种大规模MIMO空频联合调制（Joint Space-Frequency Modulation,JSFM）方案。首先详细地阐述JSFM方案的原理,然后将其应用于混合大规模MIMO系统中,并建立大规模MIMO JSFM系统模型。接着研究了系统接收端的分组差分检测算法,进行算法复杂度的分析与对比。此外,与采用子载波索引调制（Subcarrier Index Modulation,SIM）的大规模MIMO正交频分复用（Orthogonal Frequency Division Multiplexing,OFDM）系统进行了对比,推导并分析该系统频谱效率损失的上界。最后对系统的性能进行了仿真与分析。仿真结果表明,在高速移动场景下,与采用最大似然（Maximum-likelihood,ML）检测和最小均方误差（Minimum Mean Squared Error,MMSE）检测的大规模MIMO OFDM-SIM系统相比,大规模MIMO JSFM系统在高信噪比区域拥有更好的BER性能。