论文部分内容阅读
行为决策能力作为自动驾驶系统的关键技术,很大程度上决定了车辆在自主行驶过程中的安全性、合理性与稳定性。基于端到端学习的行为决策方法可直接将感知信息映射为速度和转向角行为决策量,简化了传统行为决策系统的结构。论文针对现有端到端行为决策模型输入数据类型单一、无法兼顾驾驶场景空间和时间信息而导致的预测精确度低的问题,提出了一种融合时空特征与注意力机制的端到端自动驾驶行为决策模型,对速度和转向角的行为决策量进行预测。论文主要研究工作如下:(1)提出了一种基于时空卷积的多模态多任务(Multimodal Multitask of SpatialTemporal Convolution,MM-STConv)的端到端自动驾驶行为决策模型,该模型选取RGB图像、深度图像和车辆历史连续运动状态序列作为多模态输入,并利用语义信息得到速度和转向角多任务预测参量。主要方法是:首先通过不同复杂度的卷积神经网络提取场景空间位置特征,构建空间特征提取子网络,准确解析场景目标空间特征及语义信息。同时通过长短期记忆网络(LSTM)编码-解码结构捕捉场景时间上下文特征,构建时间特征提取子网络,理解并记忆场景时间序列信息。最后采用硬参数共享方式构建多任务预测子网络,输出速度和转向角的预测值,实现对车辆的行为预测。实验结果表明,基于MM-STConv行为决策模型的训练误差为0.1386,预测精确度达到82.9%,与其他现有模型相比,该模型在预测车辆速度和转向角方面具有明显的优势。(2)在基于MM-STConv行为决策模型基础上引入注意力模块,提出了一种融合时空特征与注意力机制的端到端自动驾驶行为决策模型。该模型首先分别在空间特征提取子网络中的语义分割网络结构和共享卷积结构中引入结构相同的并行连接的空间注意力分支网络和通道注意力分支网络,以提高对场景空间关键信息的提取能力;然后在时间特征提取子网络中的LSTM编码-解码结构中引入时间注意力分支网络,对历史运动状态序列间的关系进行建模,使其更加关注驾驶场景时间上下文特征;最后将加权更新后的场景空间特征与时间上下文特征经过多任务预测子网络得到速度和转向角的预测输出值。实验结果表明,融合时空特征与注意力机制的端到端自动驾驶行为决策模型的训练误差为0.1185,预测精确度为85.8%,与未融合注意力模块的行为决策模型相比,其训练误差减少了0.0201,预测精确度提高了2.9%,表明注意力模块的引入可提高基于MM-STConv行为决策模型对转向角和速度的预测性能。(3)通过构建端到端自动驾驶决策系统在环仿真测试平台,对融合时空特征与注意力机制的端到端自动驾驶行为决策模型的有效性进行了测试和验证。首先通过该平台采集Pre Scan虚拟驾驶数据集,然后对已训练好的行为决策模型进行微调,最后对其进行测试和验证。实验结果表明,融合时空特征与注意力机制的端到端自动驾驶行为决策模型能够较好地对速度和转向角进行预测,并且决策系统在环仿真平台的引入可进一步提高模型的性能和泛化能力,具体表现为训练误差减小到0.1218,预测精确度提升到86.1%。