多机器人系统在各个领域有着广泛的应用,通过多机器人系统的群集控制实现大量自主个体的协同工作且保证其安全变得至关重要。受到生物群体行为的启发,本文对多机器人群集控制问题展开研究,针对传统群集控制算法需要建立精确模型和控制律设计工作较为繁琐的缺点,采用深度强化学习的方法实现多机器人群集控制。首先,针对多智能体深度确定性策略梯度算法学习效率低下、收敛速率慢的缺点,本文引入了优先经验回放机制,提出了强化学习算法PER-MADDPG。该算法基于时序差分误差的更新方式,设计了经验优先级评估函数,优先采样重要性更高的经验,从而提高了算法的学习效率。通过实验验证了论文所提出的PER-MADDDPG有更快的收敛速率,并且利用该算法能够实现多机器人的群集控制。其次,传统MADDPG算法并未充分利用多机器人系统存在的结构信息,导致群集任务完成率不高,并因采用了集中训练分散执行的方式,导致其可扩展性不强。针对这些问题,本文提出了一种全分布可扩展性强的图卷积强化学习方法。该方法把群集中的每个机器人当成一个节点,通过图卷积神经网络提取多机器人群集中存在的拓扑结构信息,由此能够隐式地表达出群集中机器人之间的相互作用并学习合作策略,经过图卷积层聚合得到的特征向量长度是固定的,与邻接机器人的数量无关,因此该方法能够解决以往多智能体强化学习算法可扩展性较差的问题。实验结果表明所提出的图卷积强化学习方法具有良好的可扩展性。最后,由于图卷积强化学习只把机器人当做图中的节点而没有充分考虑环境中存在的障碍物,导致多机器人对环境的理解不足。针对该问题,本文提出了考虑环境信息的图卷积强化学习方法,将多机器人群集任务环境中存在的障碍物也当做节点纳入到图结构中,从而使机器人充分考虑环境对群集控制的影响,进而更有效地避开障碍物。相应的仿真实验结果表明,该算法使得机器人群集对障碍物的躲避能力进一步提高。