传统驾驶过程中的超车行为,复杂程度高、动作连续性强,稍有操作不当便会引发交通事故。现有的无人驾驶超车控制技术,大多是基于人类驾驶规则,采用物理建模的方式实现,其模型不具备自适应学习能力,无法实时调整控制策略,对复杂的道路交通环境鲁棒性较差。因此,研究超车控制策略模型的交互式训练学习方法,就显得尤为重要。本文基于深度强化学习的DDPG算法思想,提出一种无人驾驶汽车超车控制策略的交互式训练学习方法。采集智能驾驶员的超车控制数据对模型进行预训练,然后使用经验数据约束处理对传统~*Q算法进行改进(简称“~*Q_EP1算法”),并进行超车控制策略模型的正式训练。~*Q_EP1算法较传统~*Q算法在缩小数据规模及提升数据质量方面有显著提高,但训练效率低,为解决此问题,基于聚类分析方法对~*Q_EP1算法进行进一步改进,提出了Q~*_EP2算法。该算法采用二分K-means对一个较小的超车控制数据集进行聚类分析及处理,获得聚类模型M,利用模型M聚类训练数据,并从已聚类的每一个类别中按等间距、等比例、随机抽样的原则,抽取最具代表性的数据训练超车控制策略模型。Q~*_EP2算法不仅缩小了数据规模、提高了数据质量,而且还避免了数据冗余。仿真实验分析表明,~*Q_EP2算法能够有效提高超车控制策略模型的学习性能,包括训练效率、超车控制性能和泛化能力。在100次试验中,Q~*_EP2算法比~*Q_EP1算法训练时间缩短了75%左右,训练效率远超传统~*Q算法。并且在复杂程度远高于训练道路的测试道路上进行20圈(大约88km)的仿真实验,其超车次数比~*Q_EP1算法高出18次,比传统~*Q算法高出21次。此外,通过试探性研究和单因素分析法,对相对最优的经验池大小、聚类数量和抽样比例进行求解,并在此配置条件下完成了一次直到Q~*_EP2算法收敛的仿真实验。实验结果表明,在相对最优的参数配置条件下,~*Q_EP2算法训练效率更高、收敛速度更快,其收敛时花费的迭代成本还不到传统~*Q算法的43.2%。本文提出的Q~*_EP2超车控制策略算法,训练效率高、泛化能力强、收敛速度快、超车控制性能好,对无人驾驶超车控制研究具有一定的借鉴意义。