空时编码能够联合开发多输入多输出(Multiple-Input Multiple-Output,MIMO)系统空间分集与时间分集,提高系统可靠性,是MIMO系统的关键技术之一。其中,相干空时编码在解码时需要信道状态信息。在快变信道下,相干空时编码面临信道估计的挑战,因此研究接收端无需信道信息的非相干空时编码具有重要的理论意义和工程意义。现有的非相干空时编码通常分为酉空时编码和非酉空时编码;在传统非相干多天线系统中,酉空时编码在高信噪比或信道相干时隙数远大于发射天数的情况下,被认为是最优非相干空时编码方案。然而,最优酉空时编码往往需要通过穷尽搜索获得,且其译码复杂度高。因此,若要获得全分集增益,如何设计非相干酉空时编码,在传统多天线系统编译码复杂度和可达编码增益之间达到有效折中是一个需要深入研究的问题。另外,当接收端具有大规模天线阵列时,若将酉空时编码应用到非相干MIMO系统中,受限于快衰落在相干时间内很难保证时隙数远大于天线数,酉空时编码对高信噪比的要求势必降低系统能效;因此,面向非相干大规模MIMO系统,设计具有低复杂度解码算法且适应低信噪比的非相干空时编码已成为一个研究热点。基于唯一分解理论,本文主要就多天线系统非相干空时编码、信号设计准则以及非相干检测器联合优化问题,展开了深入的研究。本文的创新性研究工作主要包括:(1)针对非相干大规模单入多出(Single-Input Multiple-Output,SIMO)无线通信系统,基于唯一分解理论,研究了信道状态信息及信道概率密度分布函数未知情况下的非相干空时编码。在无噪声情况下,提出了一种基于大规模参数化唯一可分解星座(Massive Uniquely Factorable Constellation,MUFC)框架下的空时编码方案;其基本思想是在多维连续参数空间建立与广义非相干星座的映射关系,通过确定任意传输速率下各参数空间最优星座结构和比特分配来最终确定该系统最优的非相干星座;在有噪声的情况下,由于信道概率密度函数未知,系统精确或渐进误差性能很难获得,信号优化准则很难建立,因此利用最小二乘准则,本文首次提出了基于第一类黎曼距离测度准则的星座优化方案。该方案的思想是在总传输比特和平均功率受限条件下,求解MUFC的最优星座结构和各参数空间的最优比特分配。理论分析结果表明优化后的参数化星座结合最优比特分配具有低的编码与译码复杂度。仿真结果还表明,相对于大规模SIMO系统其它非相干星座和相干编码方案,本文提出的MUFC在低信噪比、天线数较大时具有较好误差性能。(2)针对具有两发射天线的非相干点对点MIMO无线通信系统,在快变瑞利衰落信道模型下,通过归一化两个级联Alamouti编码矩阵,提出了一种非相干参数化酉空时块编码方案;该方案的思想是在多维连续参数空间建立与具有该编码结构的空时编码方案之间的映射关系,在确保系统获得全分集增益条件下,优化该编码方案的编码增益并简化其解码复杂度。本文基于最大似然准则,在总传输比特一定的约束条件下,以最小化最差情况下系统精确成对差错概率为目标,得到每个参数空间内最优星座结构和最优比特分配。理论推导证明,所提议的编码方案相对于相同系统下已有编码方案,在高信噪比时具有较大的编码增益;且理论分析结果表明,该编码方案具有低复杂度的译码算法。另外,将所提的方案应用于接收端具有大规模天线阵列时,对系统的成对差错概率进行了渐进性能分析,证明了当接收端天线数目趋于无穷时,系统能够获得全接收分集增益;而且随着信噪比增加,能够进一步获得双全分集增益。(3)针对非相干多用户大规模MIMO上行链路通信系统,基站端未知信道大尺度与小尺度衰落信息。基于唯一分解理论,本文旨在构建多用户非相干空时编码方案,提高系统频谱效率。具体地,本文利用相移键控(Phase Shift Key-ing,PSK)星座系统性设计了绝对加性唯一 可分解星座对(Absolutely Additively U-niquely Factorable Constellation Pair,AAUDCP);并利用AAUDCPs,提出 了针对该系统的非相干大规模空时块状编码方案(Massive Space-time Block Code,MaST-BC)和联合功率分配矩阵。在无噪声情形下,当基站端天线数趋于无穷且信道相干时隙数至少等于用户个数时,MaSTBC能够唯一确定用户发射符号和上行链路信道系数。在有噪声且天线数有限的情况下,分别提出了基于最小欧式距离和基于最小黎曼距离非相干检测器,以此对发射符号和上行链路信道系数(包括大尺度衰落系数与小尺度衰落系数)进行联合估计。而且,为降低译码复杂度,利用MaSTBC的特殊结构,本文还提出了一种序贯两符号更新检测器。另外,本文还将MaSTBC编码方案扩展应用到了非相干多对大规模双向半双工中继通信系统和两小区多用户大规模上行链路通信系统。