目标检测与目标跟踪一直都是计算机视觉领域研究的热点课题。在卷积神经网络引入计算机视觉领域之后目标检测与基于检测的多目标跟踪取得了巨大的发展。基于检测的多目标跟踪将跟踪过程拆分为两部分:目标检测与数据匹配。目前的大多数检测算法仅使用卷积神经网络的最后一层作为检测依据,这导致了包含在浅层中的较小尺寸目标信息与图像细节信息利用不充分,进而影响了检测效果;而在数据匹配时拥挤场景中目标遮挡、计算量巨大等问题影响着目标跟踪算法的准确度与速度。本文从目标检测与数据匹配两个方面着手,提出了基于深度学习检测的鲁棒视频多目标跟踪算法。主要研究内容如下:(1)针对检测算法对于卷积神经网络特征利用不充分的问题,本文提出基于多层卷积特征的目标检测算法。算法将卷积神经网络提取的浅层与深层特征上采样相融合,之后使用目标候选区域对于融合特征进行采样处理,将采样特征作为依据送入目标分类器用以判断目标的类别。算法在VOC2007数据集中的实验数据证明了算法具有十分出色的检测效果。(2)针对跟踪过程中目标遮挡的问题,同时为了兼顾跟踪算法的准确性与速度,本文提出基于目标运动特征与外观特征自适应切换的多目标跟踪方案,并采用基于目标密度的决策算法判断跟踪场景。在复杂场景中使用目标的外观特征作为依据用以提高算法对目标遮挡的鲁棒性;在简单场景中使用循环神经网络估计的目标运动特征作为依据以加快跟踪的速度。为了减轻目标长时间被遮挡而造成的循环神经网络对目标估计不准的问题,本文引入了级联匹配,提升了算法的鲁棒性。(3)为了验证提出的检测算法与跟踪算法的有效性,本文分别使用VOC2007与MOT数据集进行性能验证评价,并与目前流行的算法进行比较分析。实验数据表明,本文提出的算法具有优秀的性能与很强的竞争力。