随着图像传感器技术的发展,人们可以轻而易举地获取有价值图像信息。因此大量的学者开始在图像处理领域不断深耕,促进了技术的发展。基于计算机视觉的自动驾驶系统感知模块更是成为研究热点。自动驾驶简单来说是在整个驾驶过程中不需要驾驶员的参与,能够避免人为因素造成的驾驶事故。因此,这项技术的发展可以真正地提高道路安全水平。自动驾驶系统中视觉感知模块包括行人检测、车道线检测、交通标识牌识别、车辆检测和交通信号灯检测等任务。本文针对交通场景中的车道线检测与交通信号灯检测任务,通过分析传统图像处理方法与基于卷积神经网络的深度学习方法实现检测的利弊,设计了基于卷积神经网络的车道线检测算法与交通信号灯检测算法,并将其联合设计成为能够同时实现上述功能的多任务网络。首先,进行车道线检测网络设计,本任务可以划分为语义分割任务。根据对语义分割网络的研究,设计一种基于改进Deeplabv3plus的带有非单一扩张系数的空洞卷积和具有密集连接理念的车道线检测网络。首先,基于Res Net101网络设计特征提取网络,在此加入非单一扩张系数的空洞卷积进行改进。然后,将提取的特征输入改进的具有密集连接的ASPP模块。最后,通过反卷积和上采样操作输出所得车道线检测结果。由实验结果可知,与改进前的网络结构相比,本文设计的车道线检测网络具有能够提高分割精度。其次,进行交通信号灯检测网络设计,本任务实质属于目标检测任务。通过对目标检测网络的分析,设计了一种基于改进的Faster RCNN交通信号灯检测算法,其中沿用了车道线检测网络的特征提取网络,并引入特征金字塔模型,对结构进行改进从而增加了对交通信号的感知能力。由实验结果可知,与原始Faster RCNN算法相比,本文设计的网络在交通信号灯检测中提高了识别精度。最后,本文设计一个能够同时实现车道线检测与交通信号灯检测的网络。首先,利用前文所设计的共用的特征提取网络,以此作为编码器来提取特征,并将提取到的特征输入到车道线和交通信号灯解码器。由实验结果可知,本文设计的多任务网络能够同时完成交通场景的车道线与交通信号灯检测任务。