如何高效地利用有限的通信资源来提供高速、可靠的宽带数据业务是无线通信技术发展的焦点所在。多天线技术能充分利用空间资源,在不增加系统带宽和天线总发送功率的情况下,有效对抗无线信道衰落的影响,大大提高通信系统的频谱利用率和信道容量。而获得多输入多输出(MIMO)系统这些好处的一个行之有效的方法就是空时编码,该方法联合考虑信道编码、调制、发送和接收分集,将它们有机结合,有效地提高了MIMO系统的传输性能。然而,与固定有线通信不同的是,无线通信中的信号要通过自由空间来传输,这一信道的随机时变性和严重的传输缺陷决定了无线通信技术的特殊性和复杂性。因此,本文的主要工作就是致力于选择性衰落信道下多天线系统编译码的研究。本文的主要研究内容和取得的研究成果包括以下几方面的内容:首先,研究了时变性对MIMO系统性能的影响,以及如何使用多普勒分集来提高MIMO系统的传输性能。基于多天线系统的基扩展时变信道模型,系统总结了时间选择性衰落信道下传统的编译码方法,在此基础上,提出了高速率、可获得更高分集增益的空时多普勒编译码方法,并提出了码字设计准则。该码字构造时基于分层的代数方法,即每一层编码后的符号都被分到不同的发送天线、时间片以及不同的符号块中发送。仿真结果表明该码字能在符号速率达到发送天线数的情况下同时获得最大分集增益为发送天线数、接收天线数、编码符号块的数目以及信道复指数基的个数的乘积。其次,研究了信道状态信息未知时时间频率双选择性衰落信道下的多天线差分编译码方法。在某些情况下,信道估计困难,比较有效的方法就是采用差分编码。然而,大多差分编码方案都是仅基于时间选择性衰落MIMO信道或者仅基于频率选择性衰落MIMO信道设计的,对于双选择性衰落MIMO信道下的差分方案研究较少,针对这一问题,基于多天线时间频率双选择性衰落信道的基扩展模型,提出了一种应用于时间频率双选择性衰落信道的块差分编译码方案,该方案可以配置任意数目的发送天线和接收天线,并且能够获得包含空间分集、多径分集以及多普勒分集的最大分集增益。该方法利用基扩展模型中各条路径各复指数基的系数在一个块内为恒定的特性,将一个块分为多个子块并在各子块间进行差分编码,通过发射端和接收端相应的处理,信号检测不需要信道状态信息,从而避免了对双选择性衰落MIMO信道的估计。仿真结果表明了所设计差分编译码方案的高效性。再次,对多用户STBC系统下行链路预处理算法进行了研究。利用矩阵的奇异值分解定理和QR分解定理以及矩阵的正交基给出多用户STBC系统的下行链路预处理算法,并在此基础上,提出了两种可获得更高分集增益的特征模式选择算法和天线选择算法。当基站有额外的射频模块和天线时,可以采用特征模式选择算法;当基站只有额外的天线时,可以采用天线选择算法。两种优化算法都基于最大化等效信道矩阵的Frobenius范数。对不采用选择算法和采用选择算法的系统性能作了仿真分析和比较,结果表明,优化的预处理算法可以获得更高的分集增益。还对信道存在估计误差以及存在相关性时对系统性能的影响作了仿真分析,在同样情况下,采用优化的预处理算法的系统性能优于未采用选择算法的系统性能。最后,对空时分组编码-单载波-码分多址(STBC-SC-CDMA)系统上行链路进行了研究。对于频率选择性衰落信道,传统DS-CDMA系统会受到符号间干扰(ISI)和多用户干扰(MUI)的影响,性能下降。为了能够有效对付多径,发挥DS-CDMA系统优越性能,并且同时能够获得空间-多径分集增益,提出了将STBC与SC-CDMA相结合的编译码方案,推导出了整个系统的收发关系的表达式,从而将系统等效为一个多用户空间复用系统。为了降低移动台的设计难度,主要考虑在基站实行联合检测算法,介绍了三种基本的联合检测算法:MF-BLE算法、ZF-BLE算法和MMSE-BLE算法,并对三种算法进行了分析比较。根据推导出的收发端的表达通式,接收端译码时采用基于MMSE准则的联合检测算法,即联合考虑不同天线的接收信号的最大比合并、CDMA解扩以及空时译码。仿真结果表明,所提出的STBC-SC-CDMA系统即使满载用户时也能获得优良的性能。在本论文的研究基础上,还需不断深入,使得MIMO系统的传输速率、系统容量以及性能得到更大程度地提高。