无线通信多天线(MIMO)技术是分别在发送端和接收端采用多天线系统的通信技术，为提高无线通信系统的容量或可靠度提供了重要的解决方案。多天线系统可以用作空间多路复用系统，提高系统的带宽效率，也可以用作分集系统，用来提高系统的性能，如何在分集和复用之间取得很好的折衷性能是空时编码必须处理的问题。另外，如何全面地评价基于分集或复用增益的两类空时方案系统也是一个值得研究的问题。无论采用哪种方式使用多天线，和单入单出系统相比，多天线系统的复杂性和成本更高。因此，在保持多天线系统的性能前提下，如何降低系统的复杂性和成本是一个重要的研究课题。目前，除高效的编码方法外，天线选择(AS)方法引起了研究者的广泛关注。天线选择技术，就是在发送端和接收端安装了比射频链路更多的天线元件，根据一定的准则从全部可用的天线中选择最佳的天线子集发送和接收信号。本文在研究多天线技术的基础上，针对多天线系统面临的上述问题，对多天线系统的分集复用折衷性能及天线选择技术进行了深入的研究，取得了以下几个方面的研究成果：1)提出了一种并行级联空时格码(PC-STTC)方案，可以在空时格码的复杂度和性能之间取得折衷，仿真验证了其性能并进行了外信息转移(EXIT)图表分析；提出并验证了空时Turbo格码(ST-Turbo-TCM)天线选择系统；基于OOC交织器的空时传输方案，给出了其迭代接收机结构，并验证分析了其性能。2)分析了线性弥散码(LDC)方案的分集复用折衷性能。LDC编码结构的不唯一性使得它可以在保证容量增益的同时取得很好的分集增益，为了进一步的研究和揭示LDC在多天线信道中的性能，本文着力于分析LDC在慢衰落和快衰落信道下的分集复用增益性能。分析结果表明，慢衰落信道下LDC方案对于任意的空间复用增益，都可以得到严格意义上最优的分集增益，即可以取得最优的分集复用增益折衷性能。快衰落信道下LDC可以同时取得空间和时间分集增益。3)分析得出了严重衰落信道环境下的分集复用折衷性能函数。分集复用增益折衷函数可以全面的评估多天线系统性能，然而大部分研究结果基于Rayleigh衰落信道。本文基于严重衰落复多变量t分布(CMT)信道模型，推导了其分集复用折衷性能函数，研究结果表明信道的最大特征值及信道模型的自由度(CMDF)，即衰落的程度，与分集复用性能密切相关。如果信道模型的自由度趋于无穷大，则严重衰落信道的折衷函数与Rayleigh衰落信道的折衷函数趋于一致。4)在天线选择研究的基础上提出了一种新的天线选择算法。天线选择算法在天线选择系统中具有重要作用，其目标是找到信道矩阵，它比同等阵列的信道矩阵提供更好的信道容量或错误性能。本文提出了一种基于最优化信道容量的天线选择算法，该算法利用调整后的Tanimoto系数来表征信道矩阵行(列)向量的相关度。根据计算出的相关度，该算法选择出具有最小相关程度和最大向量范数的天线子集。与性能最优的选择算法相比，该算法在保证性能的前提下具有很低的复杂度；与随机选择算法相比较，该算法可以提高系统容量和平均信噪比(SNR)。5)研究了非理想信道估计下天线选择系统的性能。天线选择系统的性能分析对于认识和设计天线选择系统具有重要的意义，然而，大部分研究成果假设了在发送端或接收端能准确地获得信道参数。本文给出了非理想信道估计下天线选择系统的性能，分别使用两种不同的方法得出了其误符号率(SER)性能，仿真结果表明，无论在理想或有误差的信道信息下，本文所提出的理论结果都逼近于实际的系统性能。数值分析结果表明，在低SNR区域提高信道估计的准确程度比增加可供选择的天线数目更能提高系统的SER性能。在以上理论研究的基础上，提出了一种优化的功率分配方案，仿真结果显示，优化的功率分配方案比平均功率分配方案有将近3dB的性能增益，比理想信道信息时仅有1dB的性能损失，这表明在天线选择系统中采取合适的功率分配方案可以很好的改善系统性能。