IMT-A移动通信系统要求支持高质量的数据和多媒体业务,不断增大的数据速率需求和稀缺的频谱资源促使人们研究、利用新型传输技术,以充分挖掘现有资源的可利用价值。目前,MIMO和协作中继都已被看做是IMT-A系统中的物理层关键技术。本文的工作主要围绕这两种技术展开,重点研究多天线中继系统在独立非同分布Nakagami信道下的理论性能,分析天线数目、中继数目、功率分配因子、信道衰落参数等多个因素对系统性能的影响。本文的主要内容可归纳如下：(1)首先针对传统MIMO系统,研究TDD双工模式下基于码本的预编码算法,消除差错平台问题。传统的TDD系统一般采用非码本预编码算法,但由于上下行信道差别和SVD分解的非线性,易导致上下行码字不匹配,引起性能衰落。本文首先提出了自适应码本的方法,通过构造根据信道状态自适应变化的码本,调整反馈量和码字间距之间的关系,从而以较少的性能损失换取反馈量的大幅降低。为了进一步消除码字反馈,本文又提出了基于线性插值的预编码算法。利用上行信道信息插值估算出下行信息,再基于容量准则选取最优的码字,可以消除差错平台,实现信令开销和系统性能的折中。(2)针对单天线多用户的分布式网络进行理论性能分析。首先将该网络建模为单天线多中继的并行协作系统。在该系统中,信宿采用最大比合并接收信源和中继转发信号,中继采用三种基于不同信道信息的传输策略；然后推导了不同传输策略在独立非同分布Nakagami信道下的中断性能,对理论分析结果进行仿真验证；最后,对不同算法的性能进行比较,就算法的信令开销进行分析。(3)针对多天线单中继的集中式蜂窝网络展开研究。首次获得了Rayleigh信道下基于DF中继的有限反馈预编码算法的理论性能,推导了中断概率和误比特率的精确表达式和容量的紧上界,给出了次优的功率分配方案。进一步地,将研究扩展到独立非同分布的Nakagami信道下,分别获得了天线选择和有限反馈预编码的中断概率的解析表达式,对算法性能进行比较。(4)将多天线单中继推广到多天线多中继网络中,对两种基于不同信道信息的多天线中继选择算法的理论性能进行分析,推导在独立非同分布Nakagami信道下的中断性能表达式。仿真结果表明：对于基于瞬时信道信息的多天线中继选择策略,增加天线或中继数都可以显著改善系统性能,而对于基于统计信道信息的中继选择策略,增加中继数带来的性能增益非常小。