随着汽车工业的发展,不断增加的车辆对城市交通管理开始造成困扰,交通事故发生率也逐年递增,但自动驾驶的飞速发展为这些问题带来了转机。精确且实时地获取环境感知信息是整个自动驾驶架构的基础,针对具有代表性和挑战性的校园低速场景车辆和行人检测与跟踪,分别采用以下三种自动驾驶技术:目标检测技术可以寻找传感器视野中的感兴趣目标并确定其类别和位置,目标跟踪技术可以根据序列初始帧的目标特征来持续地对后续帧中该目标的特征进行预测,多源传感器特征级融合技术可以让各种传感器的优势互补。采用基于多源传感器融合的目标检测与跟踪可以为规划路径和行为决策提供更准确、可靠、完整的驾驶环境信息。本文以校园低速场景的自动驾驶车为研究对象,对目标检测、目标跟踪、多源传感器特征级融合分别展开深入研究,基于Pytorch深度学习框架提出了一种基于目标中心点的二阶段多源传感器融合的校园场景行人和车辆的检测跟踪算法,采用数据集测试与实车实验进行算法的有效性以及可行性验证,本论文选题具有重要的理论意义和实际应用价值。（1）目标检测。首先,针对传感器检测时出现的漏检和误分类问题,本文摒弃了直接对点云的卷积处理的方法,在先进行图像分割后,将点云投影到划分的感兴趣区域中生成深度图,再对深度图采用点云编码后提取特征生成特征映射的方式,以实现降低平均尺度误差和平均属性误差的目标。其次,针对检测对象姿态变化导致目标状态难以拟合的问题,本文摒弃了基于锚的方式穷举出潜在目标再进行后处理的做法,而采用基于没有内在方向的目标中心点的算法,以实现提高对有朝向角度的目标检测精度,进而降低平均尺度误差的目标。最后,针对激光雷达点云处理耗费资源导致实时性较差的问题,本文从第一阶段输出得到的三维目标边界框和特征图信息中,使用双线性插值从三维目标边界框各面的中心点和定位到的目标中心点提取出所需的特征,将所有目标框特征连接后传递到多层感知器中得到二阶段目标边界框属性细化和置信度分数预测,以实现尽可能兼顾实时性和精度,进而降低平均平移误差的目标。本文算法的nu Scenes检测分数NDS值为64.9%,均值平均精度m AP值为81.5%,车辆的检测精度为84.1%,行人的检测精度为78.9%。（2）目标跟踪。首先,针对跟踪对象姿态改变导致的传感器视野中的尺度缩小和放大问题,由于本文采用的是没有内在方向的目标中心点的目标检测方式,以实现有效避免物体尺度变化导致的目标模型更新错误问题,进而提高目标至少有80%的视频帧都能被正确地跟踪的跟踪轨迹数量,同时降低被跟踪目标身份交换次数的目标。其次,针对采用三维目标检测框的现有算法难以持续地进行目标跟踪,导致算法实时性较差的问题,本文将目标检测和数据关联两个模块合并为一,通过将当前帧的目标中心投影到前一帧,采用中心点定位损失函数来计算两帧的位置偏差,然后计算前后两帧之间负的速度估计以反向推测上一帧此目标中心的位置,寻找上一帧中和该位置最接近的物体,以实现提高实时性的目标。最后,针对稀疏点云在投影到图像后导致多目标跟踪准确度较低的问题,本文用这些在实例分割前景实体范围内的稀疏点及其深度值来生成感兴趣视锥区域,在二维前景实体分割区域中随机采样带有深度信息的的点,采用最近邻检索深度估计后在稀疏点周围将匹配上的随机采样二维点投影回三维空间得到虚拟点云,对得到的稠密点云进行体素化和编码,提取所得到的柱状单元特征生成稠密点云特征映射,完成点云稠密化工作,以实现提高多目标跟踪准确度的目标。本文算法的多目标跟踪准确度MOTA为0.668,多目标跟踪精确度MOTP为0.250,各个目标至少有80%的视频帧能被正确地跟踪的跟踪轨迹数量MT为4851,各个目标至多有20%的视频帧能被正确地跟踪的跟踪轨迹数量ML为1405,将阴性样本预测为阳性样本数FP为15769,将阳性样本预测为阴性样本数FN为18643。（3）多源传感器特征级融合。首先,针对融合中因深度特征压缩扭曲导致的漏检和错误定位问题,本文通过分类讨论求解最小高斯半径来设计高斯散射核,将目标的特征信息尽可能地散布到每个真值目标中心的高斯峰值的附近,以实现与真值目标检测框的交并比小于0.7的预测框不被默认删除,漏检与错误定位问题减少的目标。其次,针对现有多源传感器融合算法难以兼顾实时性和精度的问题,本文采用基于没有内在方向的中心点的特征级融合方案,先通过稠密点云特征映射完成多源传感器的融合,减少检测器的搜索空间,使得融合层和决策层就更能充分利用计算资源提高精度,以实现平衡系统实时性和精度的目标。（4）数据集测试与实车实验。本文在算法设计完成后从数据集测试和实车实验两方面的对本文校园场景的多源传感器融合的车辆和行人检测与跟踪算法进行验证。数据集测试方面,先介绍了nuScenes数据集的配置和数据集结构,然后用数据集测试对本文算法进行验证。实车实验方面,先根据传感器布置原则对多源传感器进行选型,利用Autoware平台的工具进行激光雷达和摄像头的联合标定,然后部署系统环境并构建校园地图来进行实车实验验证。在阐释了目标检测与跟踪的评价指标后,分别对数据集测试和实车实验得到的车辆和行人的检测及跟踪结果从精度和误差角度进行了分析和对比,然后对比其他算法结果,验证了本文目标检测与跟踪算法的有效性以及可行性。