车道线保持是自动驾驶系统中的重要组成模块,本文基于深度学习方法直接应用低成本的单目视觉传感器来实现智能车的转向控制,进而实现自动驾驶。传统的车道线检测方法容易受到光照变化、天气变化、遮挡、阴影以及车道线破损等方面的影响,这为基于图像分割和边缘检测的算法带来了严峻挑战,最终会导致人工设计的特征检测模型鲁棒性和泛化性严重下降。近些年深度学习由于其强大的逼近高度非线性函数的能力被广泛的应用于各个领域,而卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉领域有着突出的优势,它能够从海量的图片数据中学习一个端到端深度模型用于提取车道保持的关键特征。因此,本文开展了将端到端学习方法应用到车道线保持的研究,主要工作如下:(1)卷积神经网络的学习过程会花费大量的时间,然而仅通过图像剪切(缩小图像尺寸)的方法来达到降低时间成本的目的,却未能保证学习到的端到端车辆转向控制模型良好的鲁棒性,因为图像信息中的天空、路旁和道路相关特征的重要性程度无法获悉。因此,本文设计了三个实验框架来确定特征选取准则,具体研究了在简单和复杂环境中基于某单一特征训练而得到的控制模型的性能,并能在保证模型良好鲁棒性的前提下给出特征选取准则以降低计算资源和时间成本。(2)基于深度学习的端到端控制模型多是由二维卷积神经网络(2D CNN)训练得到,因未考虑时间维度上的帧间运动信息,使得深度模型的可解释性与泛化能力较差,然而三维卷积神经网络(3D CNN)可从连续视频帧中学习时空特征。另外,深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)也常用于连续动作的控制优化,但DDPG算法仍存在采样方式不合理而导致的样本利用率低的问题,基于此本文采用3D CNN与改进DDPG算法相结合的方法对车辆转向角进行准确地预测。(3)目前基于端到端控制的车道保持方案缺乏标准的数据库且主要集中在同域内研究,基于先前所收集的数据训练的深度模型很难扩展到之后的场景中,然而鲁棒的感知-动作模型应该从具有不同场景和真实行为的数据中学习,而当前的模型的学习一般局限于海量数据的训练、深度网络架构的创新以及在仿真环境中学习的原位模型。本文提出了一种新的图像风格迁移方法,并将该方法引入到数据增强技术中,通过改变图像的纹理、对比度和颜色来提高有限数据的多样性,进而获得了鲁棒的感知-动作模型。该图像风格迁移方法是受到了快速风格迁移和艺术风格的神经算法的启发而提出了一种任意风格生成网络架构,其中包括风格迁移网络、风格预测网络、风格损失网络和多元高斯分布函数器。风格嵌入向量从多元高斯分布中随机采样,并与输入图像在风格预测网络上预测的嵌入向量进行线性插值,这为风格迁移网络提供一组随机归一化常数,进而实现图像风格多样化。(4)基于Udacity的无人驾驶模拟器对所提出的算法进行了仿真验证,并利用微型电脑Raspberry Pi的Donkercar搭建了缩小尺寸版的智能车实验平台。仿真和实车实验表明了本文所提出的方法的合理性,均能够在较为复杂的场景中有着较高的车道保持成功率,并且所训练的端到端控制模型有着较小的误差累计。