自动驾驶汽车是传感器、网络通信、导航定位、人工智能等多学科综合体,其中导航定位、路径规划、行为决策和车辆控制等是自动驾驶的关键技术。本文针对自动驾驶中的行为决策部分展开研究。随着AI技术的迅速发展,通过深度强化学习算法实现自动驾驶行为决策成为自动驾驶技术的研究热点之一。本文将在虚拟环境下面向自动驾驶进行基于深度强化学习算法的自动驾驶决策方法实践、改进和仿真验证。首先,介绍了强化学习是通过智能体在环境中的试错学习来匹配状态与动作策略的。从强化学习的组成要素和学习过程展开叙述,对多个强化学习原理、框架和强化学习算法网络结构进行了详尽的介绍。还介绍了本文的主要算法强化学习与深度学习的结合方法——深度强化学习方法。其中深度确定性策略梯度强化学习算法(Deep Deterministic Policy Gradient,DDPG)作为深度强化学习算法中的经典算法之一,可以产生确定性的动作策略。软行动者-评论家算法(Soft Actor-Critic,SAC)是在原始深度强化学习的目标函数的基础上加入了最大熵项,在连续控制问题上表现出很大的优势。其次,本文基于开源平台TORCS,采用这两种算法进行自动驾驶仿真实验。实验过程中,设计了基于仿真环境信息和相关交通规则的奖励函数,加入驾驶平稳性约束条件,利用车身周围的雷达测距传感器信息进行自动驾驶决策。同时,在对已有的面向自动驾驶仿真DDPG算法与SAC算法的对比实验中,发现了SAC算法的收敛速度较慢等问题。最后,提出了一种更改经验池存储方式的改进的SAC算法。在对比实验中,验证了本文所提出的具有增减经验池的改进的SAC算法在缩短训练时间、提高算法稳定性、改善算法模型泛化能力等方面均表现优异。本文还定义了出错率作为参考指标,在测试时改进SAC算法模型的出错率相比DDPG算法模型降低了10%左右。