城市交通系统是一个庞大的系统,具有随机性、复杂性和不确定性等特性,目前人们难以对交通控制对象建立精确的数学模型,传统的交通控制出现瓶颈,自适应控制系统的出现给城市交通控制带来了曙光,但是国内的交通特征较为复杂,自适应控制系统未能发挥出其最佳作用。随着计算机技术、检测器技术和人工智能技术的快速发展,应用人工智能算法进行交通信号控制受到广大研究者的青睐,特别是基于深度强化学习方法,该方法不需要对交通对象进行建模,通过设计智能体实现策略学习,智能体以提升交通运行状态为目标,通过深度学习感知交通状态,应用强化学习进行控制决策,获得最优的控制策略。本文的主旨是应用深度强化学习方法生成交通信号控制方案。因此,本文首先构建了交通控制的深度强化学习模型,设计了基于交通状态预测的强化学习环境和基于改进QMIX决策的信号控制智能体。然后根据交通信号控制逻辑,设计了交通环境的状态和状态空间,智能体的动作和动作空间以及可表征动作对状态影响的奖励函数。主要研究内容如下:首先,通过对历史交通状态数据和交通路网空间位置进行关联分析,构建一种基于关键路口的子区型交通控制对象。然后,以多智能体技术为基础,利用博弈理论的相关知识,在既有交通控制技术的基础上,对交通控制层级控制对象建模,设计协作控制智能体,并基于协作多智能体对象设计交通控制框架。在交通控制框架内,以提升子区整体控制效果为目标,提出一种基于深度强化学习的交通信号滚动控制方法。该方法充分考虑交通对象的空间关系,采用速度预测的方式进行子区控制动作与交通速度状态函数关系的建立,并设计智能体决策方法。智能体可通过观测局部状态,选出累积期望最大的动作。通过设计相关实验进行方法验证,从控制方案对比与运行效果分析两方面验证了方法可行性。最后,基于上述研究内容,结合用户的需求,设计了交通控制方案滚动生成系统,该系统可实现对生成控制方案的自动下发,很好的辅助了交通信号配时人员。