随着经济和社会的发展,国民生活水平不断提高,但环境污染问题不断加重,在出行方面,汽车出行虽然能够带来生活上的便利性,但也带来了严峻的环境污染问题,环境污染问题严重的影响了我们的生活环境。为了缓解传统汽车带来的污染问题,很多国家都在鼓励新能源汽车的发展,尤其是新能源汽车中电动汽车的发展。为了帮助电动汽车的推广,解决电动汽车的出行路线规划问题至关重要。如何依据路线起终点信息以及充电桩位置点信息合理安排电动汽车行驶路径,是本文主要的研究内容。本文首先调研了电动汽车路线规划方向的国内外研究现状,并探索了强化学习领域的主要理论基础和分类,从中选定较为先进的Actor Critic架构强化学习模型作为实验主要尝试的模型。此外,本文使用北京路网做为实验数据集,从数据特性和数据分析角度分析了路网数据的特点,依据于数据集和研究目标进行基础建模的设计,将有充电需求的电动汽车路线规划问题转换成马尔科夫决策过程,并从中抽取强化学习建模过程所需要的状态、动作、奖励元素,从而完成强化学习的基础建模。在实验部分,分别搭建了 DDPG、多线程PPO等多个强化学习模型,其中多线程PPO模型通过设定概率分布在KL散度上的限制,使得模型每次更新都有较为稳固的效果改进,并通过设置经验池的方式使得模型可以不断从记忆库中抽取记忆样本,完成模型的离线训练。在效果分析部分,分别比较了不同强化学习模型带来的奖励上的提升效果,并对比了将动作生成方式设定成Q值形式和策略概率形式的效果,对比结果表明多线程PPO模型在电动汽车路线规划任务中有较好的决策性能。