无线信道估计是MIMO通信系统的重要研究方向,而压缩感知理论作为一项新型的采样理论,利用了MIMO无线信道的固有稀疏特性,以远低于传统奈奎斯特的采样频率对信息进行采样,在一定程度上降低了导频的采用个数,增大了频谱的效率,使得信道估计性能得到了很大的提高。波达方向(DOA)的估计作为天线阵列信号处理领域的重要方向,在空间定位目标信号的同时,还能够在接收过程中对信号增强进行技术支持。近几年出现的压缩感知理论,使得DOA估计可以从稀疏重构的角度进行分析求解,通过少量的测量数据就可以实现高分辨DOA估计,推动了DOA技术朝着更加成熟的方向发展。本论文的具体工作包括以下几个方面。第一,介绍了MIMO无线通信传播过程中的特点,具体包括由路径损耗和阴影衰落所引起的大尺度衰落,多径传播造成频率选择性衰落、信道的时变性引起的时间选择性衰落以及角度扩展产生的空间选择性衰落；然后,详细阐述了压缩感知理论在信号的稀疏表示、测量矩阵的设计以及信号的重构算法这三个方面的原理及应用,提出了压缩感知在MIMO无线信道应用中的方向,并且根据多径信道的特点分析了基于压缩感知理论在信道进行估计方面的可行性。第二,针对MIMO无线通信系统中经常出现的多径稀疏信道,在压缩感知理论的基础上,建立了局部聚类稀疏多径信道的数学模型,并且从数学的角度对其进行了完整有效的推导,验证了此模型在稀疏多径信道估计中实现的可能性。不同于以往信道估计所采用的纯密集型信道或者纯稀疏型信道,局部聚类稀疏信道的模型能够更准确地重构并估计出原始发射信号,同时还能有效抑制干扰,降低了错误率。而且,采用新颖的平滑LO范式估计算法,在均方误差、重构精度、匹配度以及算法复杂度等方面都有了很大的提高,并且此算法计算速度快,对噪声不敏感,估计量稳健,鲁棒性良好。仿真结果表明了局部聚类稀疏信道模型的实用性以及平滑L0范式算法的高效性。第三,针对通信系统中不可避免存在的码间干扰现象,提出了利用信道估计和调整均衡器系数的方法来抑制ISI对信号序列的负面影响。引入了改进型平滑LO范数的算法,克服了平滑L0范数在平滑系数比较小的情况下所导致的代价函数的不连续性,加强了对加性噪声的鲁棒性,信道估计结果更为精确。设计了类似梳形形状的信道模型,在改善ISI性能方面的效果较好。在信道均衡方面,试验表明系统增设的FIR预滤波器更好地解决了ISI的干扰问题。提出的ISLO-预滤波器维特比算法在计算复杂度降低的情况下,重构原始信号的效果较好,并且还提高了运算速度以及信号匹配度,同时,在接收机处获取的信号几乎无性能损失。第四,介绍了DOA估计的重要性,引入了L2,0范式的估计算法,结合多路向量测试MMV,将此方法应用于窄带信号和宽带信号的空域角度估计中,仿真结果显示,L2,0算法在这两种情况下的DOA估计结果都很准确,性能要优于MUSIC算法和MNM算法,而且基本上是不存在其他的杂波干扰的。同时,目前大部分的DOA研究基本上都是针对满足均匀线阵分布的天线阵,虽然也能识别定位出信号的具体位置,但是由于均匀线阵有比较强的方向选择性,可能会造成行为模糊的现象,所以在此将研究扩展到均匀圆阵中去,试验结果表明,在均匀圆阵下,基本可以完成无模糊的目标识别定位。在此基础上,分析了L2,0算法下的波束成形,仿真结果显示,信号的增强效果较好。