行人多目标跟踪技术因具有巨大的商业价值在近些年来受到越来越多的关注。传统的行人多目标跟踪方法只适用于单一环境背景、行人数量较少的情况,在实际应用中,会出现行人所处环境背景复杂、行人密集拥挤、行人被遮挡以及行人姿态不断发生变化等情况,对行人多目标跟踪技术的研究仍然具有挑战性。近些年来,深度学习技术在计算机视觉各个研究方向都表现优异,本文研究基于深度学习技术的行人多目标跟踪方法,即使用深度学习技术对视频或图像序列中的行人进行检测跟踪。首先使用基于深度学习的行人检测模型对行人进行检测,然后使用卷积神经网络对行人表观特征进行提取,结合行人运动特征将图像序列中的行人身份进行关联,达到行人多目标跟踪的目的。本文研究的行人多目标跟踪方法主要包括三个部分,具体研究内容如下:1、研究基于深度学习的行人检测方法。对行人多目标跟踪首先要获取行人的位置,因此本文研究了能够在复杂场景、密集程度高、遮挡严重情况下依然能够准确输出行人位置的行人检测模型,采用精度更高的双阶段检测模型Faster R-CNN为框架,使用ResNeSt101作为模型骨干网络增强模型在复杂环境下的行人特征提取能力;添加FPN模块增强模型对较小行人目标的检测能力,同时在FPN的每个卷积层后添加BN层加速网络收敛并提高鲁棒性;在骨干网络中使用可变形卷积DCN增强对行人不规则特征的提取能力;针对行人密集遮挡等情况,引入迭代式检测方法通过多次迭代检测输出更多的行人位置,针对不同的密集程度通过设置迭代次数可以做到精度与速度之间的平衡取舍;对模型的回归损失函数做出改进,引入用于解决行人检测中密集遮挡问题的斥力损失函数,分析斥力损失函数的不足并做出了改进,改进后的函数进一步提升了对拥挤人群的检测能力。2、研究基于深度学习的行人表观特征提取模型。在行人多目标跟踪中需要利用行人的表观特征来度量不同行人之间的相似度。针对行人图像质量差、行人遮挡以及行人特征相似等问题,采用多粒度网络提取行人的全局特征和局部特征,同时针对参数量和速度问题,采用轻量级卷积神经网络MobileNet v2作为模型的骨干网络。同时对细粒度数量、保留的行人特征维度以及细粒度的划分方式进行实验研究。设计的网络能够在参数量大幅减小的情况下保持较高性能。采用M-MGN提取行人表观特征可以有效减少行人身份标识交换次数。3、研究行人多目标跟踪方法。根据检测模型获取到的行人位置,首先提取行人表观特征,针对复杂拥挤场景,对行人表观特征采取特征平滑操作,增加在遮挡情况下的匹配准确率,然后结合运动特征度量行人与轨迹的关系,设计数据关联方法将行人检测结果和轨迹进行匹配,得出新的轨迹并进行更新。本文在CrowdHuman数据集上实验验证了检测模型的性能,在Market1501数据集上验证行人表观特征提取效果,在MOT数据集上验证了本文行人多目标跟踪方法的跟踪效果。在MOT16数据集上,MOTA取得69.3分,在行人极其密集的MOT20数据集上,MOTA取得64.4分,模型不仅适用于密集场景,同时也适用于简单跟踪场景。