近年来随着科技的进步,深度学习和强化学习的发展迎来空前盛况。深度强化学习技术逐渐成为诸多领域的热点技术。作为多智能体领域的重要研究内容,深度强化学习以其强大的特征提取能力提取智能体周边信息和环境信息,以其强大的感知探索能力感知适应复杂多变的动态环境,从而做出最优决策。其中被诸多学者广泛关注的问题是基于深度强化学习的多智能体协同,其旨在研究智能体如何在复杂多变的环境中通过有效协同控制达到整体性能最优。与此同时,这一智能协同技术也被应用于越来越多的领域,技术日趋成熟,如无人机对战、无人机勘探和飞机编队等。因而无论从理论价值还是实际应用来说,基于深度强化学习的多智能体协同研究都具有极强的研究意义。多智能体协同系统中,智能体如何有效平衡个体局部利益和团队全局利益是非常重要的。另外如何有效利用历史信息提高经验利用率,也是多智能体协同的一个关键研究点。本文针对上述问题进行深入研究,结合已有的基于深度强化学习的多智能体协同算法,主要完成以下工作:（1）针对平衡个体利益与团队利益问题,本文提出一种利益驱动的混合动作值函数算法（Hy CMA-Q）。该算法同时考虑了团队联合动作值函数和个体动作值函数。然后用单个智能体融入团队的程度α自适应地调整联合动作值函数和个体动作值函数的比例,以平衡团队利益和个体利益。算法适用于具有连续型和离散型的状态动作空间的环境。实验表明,本算法在合作、竞争和混合环境中都具有较优的性能。（2）针对如何有效提高历史经验利用率问题,本文提出基于历史经验的多智能体协同算法（Hy CMA-H）。该算法修改了用于数据采样的经验回放缓存池,在缓存池中引入历史信息,如上一时刻的状态和动作,帮助智能体更好地决策。实验证明,引入历史信息在训练前期可以加快模型收敛速度,同时相较于基线模型,本算法使团队获得了更大收益。（3）针对多智能体协同训练中存在的经验缓存机制构建、回放和经验利用问题,本文提出一种基于优先经验回放的多智能体协同算法（PEMAC）。该算法在多智能体系统中引入优先经验回放思想,训练过程中算法基于TD误差求出的比例优先级,对经验数据进行重要性标记,每次采样均采取优先级较高的经验数据更新网络。实验结果表明该算法提升了训练数据的质量,从而提升了模型收敛速度和学习效率。且该算法在合作寻宝和漫游者-发射塔环境中的表现性能均优于基线算法。