多机器人环境探索问题作为机器人研究领域的重要分支,旨在指导多机器人高效协同完成环境认知,被广泛应用于工农业生产。长期以来,该问题的研究主要基于随机、贪心策略等,虽有一定成效,但仍面临以下问题:（1）传统探索策略由于手工编码规则的局限性,在多机器人系统中难以利用环境结构等抽象信息做出高效决策和协同;（2）由于环境的变动或者规划的误差,机器人在移动过程中可能会受到未知障碍物等非预期状况的影响。针对这些问题,本论文利用深度强化学习指导机器人进行目标决策和移动导航,使其高效完成探索任务。主要工作有:（1）针对多机器人探索场景中难以利用环境结构等抽象信息做出高效协同决策的问题提出基于多智能体强化学习的目标点选取算法。本论文采用多智能体深度强化学习的方法,在训练过程中利用深度神经网络从大量建筑物平面图中提取环境的结构信息作为先验知识加速探索过程。同时,改进经验池结构,引入循环神经网络提取机器人观察中的时序信息,以弥补机器人观测局限性所带来的不足。最后,提出了分层通信的机制,使机器人通过少量的数据传输实现高效的协同探索。在时间、路程以及通信方面,本文所提的方法相较于传统的策略有明显提升。（2）针对由于环境变动或规划误差导致的非预期状况,本文提出基于深度强化学习的局部路径规划算法。本文通过强化学习算法习得控制策略,利用神经网络处理机器人感知到的环境数据,并以控制机器人双轮转速的形式直接控制机器人的运动路径。同时,结合传统路径规划算法,使得机器人在按照既定路线到达目标点的同时能够有效躲避所遇到的未知障碍物。最后,本文还提出了基于机器人操作系统的强化学习框架,为面向机器人的训练仿真和迁移提供平台支撑。通过仿真验证,本文所提出的方法能够有效指引机器人按照既定路线到达目标点。同时,具备一定的应对非预期状况的能力。针对所提出的解决方案,本文在多个仿真平台上进行了实验评估。实验结果显示,相较于传统的探索策略,本文的解决方案使得多机器人在未知环境探索场景中的探索效率和自主控制能力有明显提升,由此验证了所提算法的有效性。