论文部分内容阅读
21世纪以来全球人口数都在不断增加,城市人口增加的同时也严重影响到了城市交通的发展,智慧交通的发展和实现也成为了各国急需解决的问题。随着互联网和科技的发展,大数据、云计算、深度强化学习、人工智能等新的科技领域不断成为研究的热点和难点,智慧交通的研究也依据新科技迈向了自适应发展阶段。实现更加高效的城市交通灯控制算法也成为一项具有重要意义和研究价值的工作,本文对现有城市交通灯控制算法存在的不足之处优化,主要内容如下:(1)首先对城市交通灯控制如何建模做了详细说明,然后针对单路口交通灯控制算法中存在存储Q表状态空间爆炸及未考虑历史策略对将来学习的影响等问题做出改进:利用近端策略框架考虑单路口历史动作相位的执行策略对当前时刻选择执行相位造成的影响,通过当前策略与历史策略的比值来优化改变当前路口环境学习率和深度学习采样,为了防止比值出现超域问题采用置信区间的方法,对其比值进行裁剪。通过实验在轻度交通流和重度交通流环境下验证算法的有效性。(2)目前城市交通灯控制算法研究中虽有涉及到多路口协作的建模方案,但对于邻居之间如何具体协作没有反映出来,本文利用基于分布式深度Q网络来实现城市多路口协作控制建模。其中主要考虑了路口自身的历史状态、历史相位动作和该路口一跳邻居路口的上一时刻交通状态、执行相位动作对当前路口的影响,并将路口自身的历史状态-动作和一跳邻居的状态-动作依次通过MLP神经网络、LSTM神经网络、MLP神经网络计算最终当前路口当前时刻需执行的相位动作。通过实验在轻度交通流和重度交通流环境下验证算法的有效性。(3)城市交通灯控制系统属于分布式系统,目前城市交通灯控制算法中针对分布式建立多路口多策略的算法较少,无法高效解决城市相关类型车辆优先行驶问题,本文利用分布式W-Learning实现交通灯分布式多路口多策略协同控制算法。其中主要通过计算路口本地策略和远程策略的Q值(执行相位)和W值(重要性权值)及C值(协作系数)来选择最大W值所对应的Q值执行,其中基于协作图原理在各路口之间并行互传状态、动作、奖励、W等值,减少系统学习时间并了解邻居路口的交通状况。通过实验在轻度交通流和重度交通流环境下验证算法的有效性。