视频多目标跟踪作为计算机视觉的重要任务之一,其给出的目标轨迹为视频理解、场景感知等提供了一定的技术支持,具有广阔的应用前景,如自动驾驶、智能监控、无人机、医疗影像等。早期的视频多目标跟踪算法在跟踪目标时,利用滑窗的机制,每次处理一个时间窗口内的多帧视频。这类算法在处理一帧视频时由于用到了后续若干帧的信息,无法对获取的视频帧进行及时处理,具有一定的时延,因此被称为离线多目标跟踪算法。近几年,为了满足实际应用中低时延的要求,在线多目标跟踪算法逐渐受到研究人员的重视。与离线多目标跟踪算法不同,在线多目标跟踪算法每次处理一帧视频,且不利用后续视频的信息,因此时延较低,应用范围更广。虽然在线视频多目标跟踪在各个应用场景中都取得了一定的效果,但是在实际应用时,现有算法仍然存在以下一些科学问题:现有算法在RGB域进行逐帧处理,忽略了帧间的相关性,导致跟踪速度较慢;现有算法忽略了目标之间的相互关系,仅利用目标个体的特征进行跟踪,对复杂场景中存在的相似目标、遮挡等情况鲁棒性较低;现有算法抗遮挡能力较弱,不仅需要有监督地学习目标的外观特征从而对漏检目标进行重识别,还无法估计目标漏检时的位置。本文针对上述问题做了研究,主要的研究内容及创新点如下:1.提出一种基于压缩域的在线多目标跟踪算法视频经过压缩编码后,分为关键帧和非关键帧。其中关键帧包含了该帧的所有信息,而非关键帧只利用了运动矢量和残差进行编码表示。为了提高算法的跟踪速度,该算法针对关键帧和非关键帧分别设计了不同的跟踪策略。对于关键帧,该算法设计了一个对位置敏感的外观特征模块,能有效地计算目标外观特征之间的相似度,且该模块能够和检测器一起训练,从而对外观特征模块和检测器进行联合优化。对于非关键帧,该算法设计了一个轻量的跟踪网络,该网络直接利用运动矢量和残差来预测目标的位置框。相对于关键帧,非关键帧不进行目标检测,且不考虑目标的数目变化,因此计算量相对较少。实验结果表明,该算法能够在不影响跟踪性能的情况下,大幅度提升算法的跟踪速度。2.提出一种基于图相似度模型的在线多目标跟踪算法视频中相邻帧之间目标的运动是平滑且缓慢的,因此目标之间的相互关系基本不变。为了提高跟踪算法的鲁棒性,该算法利用帧内目标的相互关系设计了图相似度模型。具体而言,该算法利用目标的外观特征和目标之间的相对位置特征来构建有向图,通过图匹配机制来计算目标之间的相似度。另外,考虑到相邻帧中图的结构具有不变性,该算法进一步利用图的拓扑结构对漏检目标的位置进行估计。与现有跟踪算法相比,该算法设计的图相似度模型不仅考虑了目标的外观特征,同时也考虑了目标之间的相互关系,因此鲁棒性较高。实验结果表明,当将该算法设计的图相似度模型应用到现有跟踪算法时,能显著提升现有跟踪算法的跟踪性能。3.提出一种基于无监督重识别和遮挡检测的在线多目标跟踪算法为了降低跟踪算法对数据标注的依赖,该算法利用相邻帧之间的相似性设计了无监督重识别学习模块。其做法是将两帧中的目标放到一个集合中,并计算集合内两两目标之间的相似度。通过对这些相似度进行帧内和帧间的约束,实现无监督训练重识别模块。考虑到外观特征只能对目标进行重识别,无法估计漏检目标的位置,该算法进一步设计了遮挡检测模块。该模块能够检测目标之间的遮挡区域。当某个目标漏检时,利用检测出来的遮挡和目标的运动信息,可以对其位置进行估计,提高抗遮挡能力。实验结果表明,该算法设计的无监督重识别模块与现有跟踪算法中的有监督重识别模块性能基本相同,且该算法设计的遮挡检测模块能大幅度提高现有跟踪算法的跟踪性能。4.设计一个在线多目标跟踪演示系统该系统首先将上述三种多目标跟踪算法进行融合,使得其在进行多目标跟踪时,具有实时、鲁棒、对数据标注依赖低的特点。另外,在具体应用时,该系统分为多摄像头监控系统和可交互的在线多目标跟踪系统。其中多摄像头监控系统实现了跨摄像头多目标跟踪,可交互的在线多目标跟踪系统允许用户灵活地对特定视频进行深入的分析和处理。