移动通信的演进升级得益于系统关键性能指标的全方位倍增,加强对移动通信的性能增强研究对于加速生产生活数字化转型、促进经济发展、引领军事变革具有十分重要的意义。调制方式是决定通信系统传输性能的关键因素。空间调制技术作为一种新型的数字调制技术,突破将信息调制到电磁波的幅度、频率、相位的传统思路,以天线的激活状态作为调制手段,可实现更加高效可靠的数据传输。然而传统空间调制技术面临天线激活状态检测准确度低、频谱资源利用不充分、安全性较弱等问题,难以满足未来移动通信系统对可靠性、有效性和安全性的高需求。为了解决上述问题,本文有针对性地开展了增强空间调制系统可靠性、有效性和安全性的关键技术研究,主要工作及成果如下:（一）回顾并总结了空间调制技术的演进规律和发展现状,根据信息映射方式的不同将空间调制技术族分为发射端空间调制、接收端空间调制和联合空间调制三类。分别建立了三类空间调制技术的系统模型,并详细分析了其性能指标,包括误比特率、系统容量和安全传输速率,为本文提出的性能增强新方法奠定理论基础。（二）提出了增强三类空间调制可靠性的新方法。针对空间调制系统中天线激活状态检测准确度低的问题,提出了空域编码方法,提升了空间调制系统的可靠性。传统空间调制激活部分天线发送调制符号,当接收端对激活天线的检测出现错误时,会产生误差传播效应,严重影响调制符号的检测,降低空间调制系统可靠性。本文提出利用汉明码来确定发射天线的激活状态,实现在空域的直接编码,在不牺牲传输效率的前提下提高了天线激活状态的检测准确度,降低了误差传播效应对系统可靠性的影响。针对预编码空间调制系统可靠性较低的问题,提出了最优星座分配方法,显著降低了预编码空间调制的误码率。传统预编码空间调制的星座图由信号星座图和空间星座图两部分构成,当给定频谱效率时,不同星座分配方案会产生不同的误码性能。本文通过深入研究预编码空间调制的误码性能,从理论上证明了给定频谱效率M bit/s/Hz时,由信号星座传递两比特信息,空间星座传递M-2比特信息时,系统误码性能达到最优。针对联合空间调制系统的可靠性低等问题,提出了功率分配和天线选择联合优化算法,显著提升了联合空间调制系统的可靠性。传统联合空间调制天线利用不充分,对时变信道的适应性差。本文提出利用信道反馈信息进行自适应天线选择和功率分配联合优化,通过最大化接收信号的最小欧式距离实现可靠性提升。（三）提出了增强三类空间调制有效性的新方法。针对广义空间调制系统在中低信噪比区间系统容量较低的问题,提出了基于奇异值分解-离散傅里叶变换的预编码方法,提升了广义空间调制的系统容量。传统基于天线重组和奇异值分解的预编码方法对广义空间调制系统的容量提升有限,本文通过分析系统容量的表达式发现,接收信号的最小欧式距离决定了广义空间调制在中低信噪比区间的系统容量,提出在奇异值分解之前加入离散傅里叶变换矩阵,提升了接收信号的最小欧式距离。针对广义预编码空间调制天线利用不充分的问题,提出了接收天线转移和发射天线选择方法,实现了空域系统容量的倍增。传统广义预编码空间调制利用接收天线激活模式传递空间信息,存在天线利用不充分导致频谱效率较低的问题。本文提出利用接收天线激活模式的转移来传递空间信息,并进一步利用发射天线选择来提升等效信道增益,显著提升了广义预编码空间调制的系统容量。针对联合空间调制系统容量较低的问题,提出了基于概率成形的广义联合空间调制技术,实现了信号域和空间域系统容量的倍增。传统联合空间调制激活单个索引天线、发送单个调制符号,系统容量较低。本文通过改进联合空间调制的传输机制,通过激活多个索引天线发送多个调制符号,提升了系统容量。在此基础上,提出利用概率成形技术进一步提升所提方案在中低信噪比区间的系统容量。（四）提出了增强空间调制安全性的新方法。针对传统安全空间调制系统的射频通道数量多、安全性较弱等问题,提出了可重构智能表面赋能的安全空间调制技术。首先考虑将可重构智能表面装配于发射天线周围,利用反射单元的开关状态构建额外的空间维度,通过人工噪声和随机预编码方法实现空间调制物理层安全传输,所提方法仅需单个射频通道,并且显著提升了空间调制系统抗多天线窃听的能力;然后考虑将可重构智能表面置于无线环境中,提出基于随机反射和信道对角化的物理层安全传输方法,给出了三种随机反射方法,分别适用于空移键控、正交空移键控和空间调制体制。所提方法无需窃听信道先验信息,无需密钥共享,实现了一次一密的加密传输。