粒子滤波是一种基于贝叶斯理论和蒙特卡罗方法的在线推理算法，通过加权样本集非参数化地近似后验分布。因其具有使用灵活、易于编程实现、适于处理非线性、非高斯系统的状态估计问题等特点，而受到了越来越广泛的重视，已成为应用数学、信号处理、自动控制、人工智能、机器学习等领域的研究热点。由于粒子滤波的研究仍处于起步阶段，许多关键技术还未能有效解决，目前对粒子滤波的大量研究主要集中在提高滤波性能、理论分析和扩展应用领域三方面。本文针对粒子滤波存在的权值退化、样本衰竭和计算量大等主要问题，从粒子滤波的理论基础、建议分布函数、重取样等方面开展研究，并将粒子滤波算法应用于MIMO无线通信。主要工作和贡献有： 1、研究了基本粒子滤波算法存在的主要问题，给出了提高粒子滤波效率与精度的主要方法与措施，基于转移核函数对粒子滤波算法的均方误差界、几乎处处收敛性、中心极限定理和Cramér-Rao下界进行了讨论。 2、研究了粒子滤波的建议分布函数。从理论分析和数值仿真两方面对常用建议分布函数对粒子滤波器的性能影响进行了比较与分析，归纳总结了两大类建议分布函数的主要优缺点和建议分布函数的一般设计原则。基于状态分解和噪声统计特性来设计建议分布函数，提出了一种新的粒子滤波器——混合退火粒子滤波器。针对观测噪声较小、状态过程存在分离部分以及后验分布的拖尾问题，基于对观测噪声的加权处理，从设计建议分布函数的角度，提出了一种新的粒子滤波器——加权序贯重要性重取样粒子滤波器，证明了其中心极限定理并通过两个常见动态状态空间模型的数值仿真实验对其性能进行验证。 3、研究了粒子滤波的重取样算法。对多项式重取样、分层重取样、剩余重取样和系统重取样等四种基本重取样算法的工作原理进行了详细分析，从理论分析和数值仿真两方面对四种基本重取样算法的性能进行了比较。针对重取样导致的样本衰竭等问题，在剩余系统重取样算法的基础上提出了一种改进算法——邻域剩余系统重取样算法。对重取样时刻的自适应选择、重取样算法的自适应选取和重取样粒子数目的自适应确定进行研究，在相关研究基础上给出了一种基于KLD的完全自适应重取样算法。 4、以信道跟踪和符号检测为例研究了粒子滤波在MIMO无线通信中的应用。针对非高斯噪声环境下的MIMO时变信道跟踪问题，建立了相应的动态状态空间模型，并用退火粒子滤波器对其进行信道跟踪与符号检测。研究了非高斯噪声环境下频选BLAST系统的符号检测问题，基于信道矩阵的QR分解和判决反馈均衡原理建立了适于粒子滤波求解的动态状态空间模型，针对频选BLAST系统和BLAST-OFDM系统，分别提出了基于粒子滤波的空时分层检测算法与空频分层检测算法，并对上述算法进行了数值仿真和性能分析。