自动驾驶技术是当下热门的研究课题之一。作为自动驾驶汽车环境感知系统中的重要环节,视觉目标检测与跟踪算法的性能很大程度上决定了自动驾驶的稳定性与安全性。相比基于激光雷达的算法,基于相机视觉的算法具有硬件成本低、抗恶劣天气干扰能力强等优势。相比双目视觉算法,单目视觉算法具有进一步降低硬件成本以及节省计算资源的优点,并且当双目相机中的其中一个出现故障时,需要单个相机独立完成环境感知任务以保证自动驾驶车辆的正常行驶。因此,对于自动驾驶场景下基于单目视觉的多维目标检测与跟踪算法的研究具有重要意义和实用价值。本课题对该领域内现有方法存在的问题进行深入的分析和讨论,并提出相应的改进与创新。给定一系列输入图片,目标检测旨在获取图片中特定目标的类别、位置、尺寸和方向等信息。相比二维目标检测,三维目标检测能获取物体的三维空间信息,符合自动驾驶的实际需求,因此本课题以三维目标检测为研究内容。目标跟踪则旨在对单个或多个特定目标的几何信息和身份信息进行持续多帧的预测和关联。在自动驾驶视觉感知系统中,目标检测与目标跟踪可以视为一个整体算法的前、后两个环节。按照由单目标到多目标、由二维到三维的顺序,本课题从单目标跟踪、二维多目标跟踪、单目三维目标检测和单目三维多目标跟踪四个方面入手进行递进性的研究。相关领域的学者针对上述四个方面提出了诸多算法,但这些算法总体上还处在研究的初期阶段,存在许多有待改进之处。具体而言,对于单目标跟踪,现有方法大多单一性地利用神经网络提取的卷积特征进行目标定位,忽略了低层视觉特征的重要性,从而导致跟踪算法容易受到同类干扰物体或背景干扰区域的影响而产生跟踪漂移现象;对于二维多目标跟踪,现有方法关注于每个独立跟踪序列的运动规律,缺少对于不同跟踪序列之间关联性的挖掘,从而易发生序列休眠时机失当的问题;对于单目三维目标检测,现有方法对不同类别的几何信息缺少差异性的神经网络结构设计,特别是对单目视觉深度信息估计的不适定性问题缺乏针对性的设计,总体检测性能有待提升;对于单目三维多目标跟踪,现有算法没有根据单目视觉感知系统的自身特点设计出特异化的数据关联策略,且缺乏合理的单目视觉三维多目标跟踪算法性能评价方法。根据以上分析,本课题从如下几方面进行研究:针对现有单目标跟踪算法中存在的问题,提出一种卷积特征与颜色特征融合的双通道单目标跟踪算法。一方面利用孪生神经网络提取的卷积特征得到语义层面的相关性响应图,另一方面提取输入图片前景区域和搜索区域的颜色直方图特征,结合贝叶斯定理计算前景概率。为了融合来自不同跟踪通道的推理信息,提出一种有效区域裁剪策略。为了解决不同帧图像亮度差异过大导致颜色跟踪通道失效的问题,提出一种带有熔断机制的双通道融合策略。为了防止融合后响应图中存在的高响应值噪点对跟踪结果造成干扰,提出一种基于高斯核平滑的去噪后处理方法。针对现有二维多目标跟踪算法中存在的问题,提出一种基于多序列联合休眠机制的二维多目标跟踪算法。通过一个全连接结构的离散条件随机场对不同跟踪序列之间的运动关系进行建模,从而对跟踪序列进入休眠状态的时机做出合理判断。针对不同帧图像中跟踪序列个数不确定的问题,提出了置信度筛选与伪节点补齐策略,以固定条件随机场模型中的节点数量。针对二维多目标跟踪应用场景的特点,设计了特异性的单边、双边特征函数,以应对不同情况下的跟踪信息变化。针对现有单目三维目标检测算法中存在的问题,提出一种基于顺序特征关联和深度线索的单目三维目标检测算法。一方面,对不同几何信息根据其预测难度进行分组,进而利用一个卷积门控循环神经网络将不同组的特征按照由易到难的顺序进行关联,从而使得容易预测的几何信息对难以预测的几何信息起到提示作用。另一方面,针对单目视觉条件下深度信息难以预测的问题,设计一个深度线索模块,用以学习不同二维高度下的物体三维中心深度分布,进而用学到的深度线索向量对深度回归头的输入特征进行增广。针对现有单目三维多目标跟踪算法中存在的问题,提出一种基于深度感知关联策略的单目三维多目标跟踪算法及评价方法。为抵消自动驾驶汽车的自身运动,提出全局坐标匹配的策略。为降低超参数的调节难度,并使算法具有长时跟踪的能力,在跟踪序列管理机制中引入休眠状态。为解决因单目深度估计不准确导致的远处物体跟踪身份信息频繁切换的问题,提出一种深度感知的数据关联策略。此外,对现有单目视觉三维多目标跟踪算法性能评价方法的缺陷进行分析,并提出一种改进的性能评价方法。对于上述研究内容,进行一系列的定性与定量实验,以验证本课题所取得成果的有效性,并对实验结果进行了深入的讨论和分析。