新一代宽带移动通信系统对系统容量、频谱效率、以及传输可靠性都提出了更高的要求,在无线资源日趋紧张的情况下,需要采用多天线发送和多天线接收的MIMO无线传输技术,以提高频谱利用率、功率效率、及传输可靠性。在过去的十多年中,MIMO技术得到了广泛的研究与应用,目前己成为移动通信新标准中的核心技术。本论文开展MIMO无线通信系统信道估计与自适应传输理论方法研究。　　 首先,研究了时隙基单载波分块传输系统在空、时、频选择性MIMO衰落信道下的信道估计理论方法。提出双循环时隙结构,应用于单载波分块传输系统,研究其最小均方误差(MMSE)信道估计,发现时隙基MMSE信道估计的最优导频按特征模式与统计信道状态信息相关联,在发送端未知发送天线相关的情况下,最优导频满足与最优最小二乘信道估计情况下相同的正交条件,而且信道估计可分解为初始最小二乘信道估计与空时后处理级联结构,对于统计独立信道,空时处理可简化为逐径处理。提出新的导频序列设计,并利用导频序列结构特性,显著降低初始信道估计算法复杂性。提出采用离散余弦变换的空时后处理方法,在逼近最优信道估计的同时,显著降低空时后处理的复杂度。提出基于多项式拟合的无偏噪声方差估计器,并利用多项式矩阵的特殊结构,降低噪声方差估计器的实现复杂度。仿真结果证实了所提信道估计理论方法的有效性。　　 然后,研究了正交频分复用系统在空、时、频选择性MIMO衰落信道下的信道估计理论方法。证明了MMSE信道估计的最优导频为统计预编码导频,即导频应在发送相关阵特征向量所确定的方向上并行传输,并依据信道相关阵的特征值进行功率分配。提出次优导频功率分配方案,在逼近最优功率分配性能的同时,显著降低其实现复杂度。对于统计独立信道,提出基于二维离散余弦变换的信道估计方法,可有效克服传统的基于二维离散傅立叶变换的信道估计方法在系统存在保护带以及终端高速移动时的平底效应,并能以较低的实现复杂度获取逼近最优二维MMSE信道估计器的性能。　　 接着,研究了单向中继通信系统在分布式空频编码发送方案下的信道估计理论方法。针对采用前置导频的MMSE信道估计,将平坦衰落信道下的导频方案拓展至频率选择性衰落信道,提出新的导频序列和预编码矩阵设计,并利用其特殊结构,显著降低中继节点和目标节点的处理复杂度,对于统计独立中继信道,所提导频方案为最优导频方案。针对采用间歇导频的MMSE信道估计,将导频方案设计转换为导频位置和导频功率的设计,提出等间隔等功率导频方案,在逼近最优性能的同时,可以显著降低后续信道估计的复杂度。仿真结果证实了所提导频方案的有效性。　　 进一步,研究了双向无线中继通信系统中的信道估计理论方法。提出一种新的信道估计策略,即中继节点利用信道估计的结果对导频信号进行功率分配,以提升目标节点信号检测或信道估计的能力。分别讨论了最大输出信噪比和最小信道估计误差准则下的最优导频与最优功率分配问题,证明了最优导频为正交序列,并提出逼近最优的功率分配方案。仿真结果证实:在目标节点发送功率失配或信道条件失配的情况下,所提信道估计方法可有效提高目标节点的输出信噪比或信道估计性能。　　 最后,研究了联合相关MIMO信道下的最优传输理论。归纳出更为一般的联合相关MIMO信道模型,系统地研究其信道容量及容量可达统计特征模式传输。首次把代数中的积和式引入MIMO信道容量分析,得到联合相关信道遍历容量简洁且紧致的上界。利用容量上界,在凸优化理论框架下,研究了特征模式最优功率分配理论方法,得到最优功率分配的充要条件及迭代注水功率分配算法,仿真结果证实了上界的紧性和功率分配算法的有效性。