多目标跟踪系统在军事和民用方面都有着广泛的应用，多目标跟踪算法是多目标跟踪系统的关键和难点。人们对于多目标跟踪算法已进行了半个多世纪的研究，提出了很多种多目标跟踪算法。但是，传统的基于数据关联的多目标跟踪算法计算量大，跟踪性能较差，难以适应现代复杂多目标跟踪场景。近年来，基于随机有限集的多目标贝叶斯滤波器在复杂目标场景跟踪中取得了巨大的突破，得到了越来越多的关注和研究。多目标贝叶斯滤波器能够把多目标状态作为一个集合直接估计出来，从而避免了传统多目标跟踪技术中的数据关联环节。另外，多目标状态随机集模型不仅包含生存目标的动态模型，还包含了目标的新生，孵化等动态模型;多目标量测随机集模型也同时包含了源于目标的量测和杂波分布模型，因此多目标贝叶斯滤波器可以容易地处理密集杂波，时变目标，目标的生存，分裂，新生等复杂情况。但是，在实际应用中，基于随机集的多目标贝叶斯滤波器存在较多的限制条件以及一些不足，缺少鲁棒性，难以满足各种各样的跟踪要求。　　本论文主要针对贝叶斯多目标跟踪算法的不足和限制条件进行了深入研究，提出了改进的基于随机有限集的多目标跟踪算法。改进工作主要在于两个方面，一个是对于多目标贝叶斯滤波器无法形成航迹问题的改进，二是松弛了多目标贝叶斯滤波器的一个限制条件。另外，本论文在随机集框架下研究了多传感器系统中传感器最优处理序列问题，得到了不同条件下的多传感器最优处理序列。本论文的主要研究成果如下:　　1.提出了一种带有航迹识别的概率假设密度(Probability Hypothesis Density, PHD)多目标跟踪滤波器。该算法使用解析形式的高斯混合PHD(GM-PHD)滤波器处理密集杂波数据，得到多目标的位置估计随机集，然后由此位置估计随机集构造多目标的伪量测，由面向航迹的多假设跟踪器(MHT)实现GM-PHD滤波器的关联跟踪;为了关联跟踪多机动目标，在MHT中结合了“当前”统计模型以形成一个自适应多目标跟踪算法。　　2.提出一种基于联合概率数据关联(Joint Probability Data Association，JPDA)的基数PHD(Cardinalized PHD，CPHD)多目标跟踪算法，以解决CPHD滤波器无法识别目标问题。该算法使用解析形式的高斯混合CPHD(GM-CPHD)滤波器对密集杂波进行处理，得到多目标的位置估计随机集，以此位置估计随机集构造多目标的伪量测，输入关联滤波器JPDA，由JPDA实现GM-CPHD关联跟踪。为了解决由JPDA来跟踪时变目标的问题，我们依据每一步GM-CPHD的目标数目和状态估计值，由基于序列概率似然比(SPRT)的贝叶斯航迹起始逻辑进行航迹的起始确认;一旦确认了目标数目和航迹，则由JPDAF完成多目标数据关联滤波。　　3.PHD和CPHD滤波器等贝叶斯多目标滤波器的一个缺点是必须已知新生目标的位置。为解决此问题，本文提出了一种基于新目标检测的贝叶斯多目标跟踪滤波器。该算法在跟踪过程中应用航迹起始技术检测未知位置的新生目标，一旦检测到新生目标，则由其位置信息构建新生目标随机集的强度函数，然后由强度函数来起始PHD和CPHD滤波器。该方法解决了PHD和CPHD滤波器必须已知新生目标的位置问题。　　4.在整合概率数据关联(Integrated Probability Data Association，IPDA)滤波器框架下研究了多传感器最优处理序列问题。首先，在随机集框架下得到了序贯IPDA滤波器算法。通过对序贯IPDA滤波器中目标生存概率的分析，我们得到了在两种不同的传感器参数条件下，序贯IPDA滤波器的性能依赖于传感器处理序列的结论，并且在最大化目标生存概率的条件下得到了最优传感器处理序列。