目标跟踪是完成视觉监控、人机交互、车辆导航等诸多视频场景分析和理解任务的基础,已有大量的跟踪方法被报道,可将这些方法大致分成单光谱跟踪和多光谱跟踪两大类。与单光谱目标跟踪系统相比,多光谱目标跟踪系统在生存能力、时空覆盖范围、可信度等方面都具有明显的优势,因而被广泛研究,其中最具代表的是红外与可见光的融合跟踪。红外传感器是通过检测目标辐射的热能差异来形成影像,因此在恶劣的光照环境下要比可见光成像更好,但它无法捕获目标对象的颜色和纹理特征。可见光传感器虽然无法感知温度,但在处理多个热目标交汇时,它通常要优于红外传感器,特别当目标对象间有显著的颜色和纹理差异时。因此通过联合它们的数据,能获得比使用单个传感器更好的跟踪性能。本文从目标表示和目标搜索两个方面出发,提出了以下两种基于联合直方图表示的红外与可见光目标融合算法:1.基于联合直方图表示的红外与可见光目标核跟踪算法。首先,以直方图为特征表示模型,分别计算给定候选状态下红外图像块的颜色直方图和可见光图像块的颜色直方图,并采用巴氏系数分别计算红外图像块的颜色直方图与其目标模板间的相似度,以及可见光图像块的颜色直方图与其目标模板间的相似度;然后,将两个相似度进行加权组合以形成目标函数来;接着,对目标函数进行多变量泰勒展开,得到其线性逼近式,并通过最大化该逼近式推导出一个从当前候选状态到新候选状态的目标状态转移关系式;最后,根据该转移关系式,使用均值漂移程序来递归地获得目标在当前帧中的最终状态。2.基于联合直方图表示的红外与可见光目标粒子滤波跟踪算法。首先,以前一帧的跟踪结果为初始状态,采用六参数的仿射变换模型产生高斯随机采样粒子集;然后,分别计算给定采样粒子对应的红外图像块的颜色直方图和可见光图像块的颜色直方图,并计算它们各自与其目标模板间的相似度;接着,将两相似度的加权组合作为粒子滤波跟踪器的观测似然,并启动粒子滤波跟踪程序得到其后验概率,对其余粒子重复上面的步骤,得到所有粒子的后验概率;最后,以所有粒子与其后验概率乘积的期望作为目标在当前帧中的最终状态。该算法克服了基于核的融合跟踪方法在迭代时候容易陷入局部最优的缺点,能较好地处理目标的缩放、旋转和形变等仿射运动变化。对多组的红外与可见光图像序列对的测试表明,基于核的融合跟踪算法具有较高的实时性,而基于粒子滤波的融合跟踪方法能胜任目标的仿射运动变化。两种融合跟踪方法在处理遮挡、光照变化以及目标交汇等方面都展现出较好的性能。