多输入多输出(MIMO)技术是未来移动通信系统实现高数据速率,提高传输质量的重要途径。高速分组宽带传输和高移动性终端的要求,使得无线MIMO通信信道具有时间选择性与频率选择性两个特征,因此未来的MIMO通信系统将面临双选择性衰落信道模型。然而发射天线阵或接收天线阵的各单元之间还存在一定的相关性以及传输中的针孔效应等因素,使无线MIMO衰落信道模型更复杂,因此所涉及的MIMO空时信号处理也有很多困难亟待解决。对MIMO信道的估计与跟踪是相当重要的,因为其估计的精确性对整个通信系统的性能有着很大影响。当天线数目增加时,信道估计遇到了极大的挑战,因为未知的信道抽头个数增加,且发送能量被分割。本文对双选择性信道与空间相关信道下MIMO无线通信系统中的信道估计等问题进行了深入研究,主要工作如下:提出了基于训练序列和序贯蒙特卡罗滤波的MIMO时变频率选择性衰落信道的估计与跟踪方法。根据时变无线信道的动态性,将信道冲激响应近似看作一个低阶的自回归(AR)矢量过程,以便于进行时变信道的跟踪。接着在此模型的基础上,利用序贯蒙特卡罗滤波对MIMO通信系统中的双选择性信道进行了跟踪;跟踪过程中需要与信号检测交替进行,即在状态变量的预测和新息修正的中间要进行一次码元的检测,所采用的方法是MMSE-DFE,最后与扩展卡尔曼滤波方法作了比较。在数据分组传输方式下,提出了一种基于导频符号辅助调制(PSAM)的MIMO时变频率选择性信道估计方案。首先,对时间-频率双选择性MIMO信道,建立了一个复指数基扩展信道模型;然后基于该复指数基扩展信道模型,提出了采用PSAM的MIMO双选择性信道估计方法;最后在该估计算法的基础上,基于信道估计MSE最小、检测信号的MSE最小以及平均信道容量最大原则,对PSAM的参数进行了优化设计,主要包括导频的插入方式、导频块的结构、分块传输数据子块的个数、以及能量分配等。在数据分组传输方式下,提出了基于多项式内插的MIMO时间-频率双选择性信道估计方法。将时间-频率双选择性MIMO信道,建模为一个随时间变化的多项式内插信道模型;然后,根据信道Doppler衰落速率、多项式模型中的误差项,确定出模型的阶数以及整个数据块的长度;最后,基于该多项式内插信道模型,提出了采用PSAM的MIMO双选择性信道估计方法。