随机集为目标跟踪提供了简单明了的贝叶斯递推形式,避免了传统方法因数据关联而复杂度高的缺点。其中以标签随机集为基础的广义标签多伯努利(GLMB)滤波器真正实现了对目标航迹的区分。由于传感器精度的提升,目标形状不可忽略,传统的点目标理论无法满足实际中的各种需求,因此扩展目标跟踪受到国内外研究学者的关注,并大量应用于军事和民用系统中。本文主要研究了GLMB滤波器在扩展目标跟踪中的应用,具体的研究内容如下:针对GLMB滤波器需要已知运动场景中背景环境参数而实际中这些参数无法提前获得的问题,提出了未知杂波率和检测概率的GLMB扩展目标滤波器。该算法通过将杂波当作没有动态特性的一类目标,建立联合目标-杂波混合空间模型,对混合多目标后验密度进行迭代。同时对混合空间模型中的扩展目标部分增广,引入检测概率空间并采用Beta分布直接对未知检测概率建模。另外,针对观测区域内目标新生和消失时Beta分布估计浮动较大的问题,给出了采用inverse gamma分布表征目标未知幅度特征进而估计检测概率的方法。仿真实验表明,所提两种方法均可以在高杂波率或低检测概率场景中实现对多个目标的跟踪以及未知参数的估计,并且可以达到参数先验已知的标准滤波器的跟踪精度。在目标出现新生和消失的场景中,与Beta分布相比,inverse gamma分布对检测概率的估计结果更加稳定。针对近邻场景中因量测划分不准确导致滤波器对目标数目、质心以及形状的估计出现较大偏差的问题,提出了基于似然函数的一步数据关联GLMB扩展目标滤波器。该算法跳过将量测划分后再匹配的过程,通过计算量测与目标关联后的似然函数直接寻找全局最优关联假设,进而对目标后验概率密度进行更新。并采用乘性噪声模型描述目标形状,给出滤波器的实现方法。实验结果表明,所提的一步数据关联方法在目标交叉、近邻场景中能够实现对目标数目的准确估计,与基于量测划分的滤波器相比,该方法对目标质心和形状参数的估计精度得到提高。针对现有的标签随机集理论下目标形状估计问题,提出了基于控制点的GLMB扩展目标滤波器。该算法采用伸展-变形模型对目标扩展形状建模,通过移动参考形状表面控制点来拟合目标真实形状,并采用参考形状参数自适应的计算方法来提高变形后形状的相似度。最后给出标签随机集下多目标后验概率密度函数的迭代过程。仿真实验表明,与基于随机矩阵和乘性噪声模型的方法相比,所提方法可以实现对椭圆形状参数的准确估计。