多智能体协作一直是人工智能的研究热点,有助于解决人类社会的许多问题。由于近些年来深度强化学习展现出的惊人决策能力,利用其解决多智能体协作问题成为热门,并诞生了多智能体深度强化学习这一研究方向。值分解是多智能体深度强化学习的主流方法,可以在环境平稳性和智能体拓展性之间取得平衡。但现有的一些值分解式方法没有充分利用历史轨迹进行学习,也忽视了智能体策略网络的重要性。因此,本文针对基于多智能体值分解深度强化学习设计高效的多智能体协作算法这一任务,主要进行了以下工作:（1）本文提出了一种基于竞争网络结构的多智能体值分解深度强化学习算法——多智能体多步竞争网络（Multi-Agent Multi-Step Dueling Network,MMDN）,将环境状态估计和动作评估解耦,在训练阶段利用全局状态信息学习状态值,利用观察信息学习优势值,以此提高个体动作值函数的表达能力。利用多步时间差分方法通过联合动作值函数计算时间差分目标端到端地训练智能体分散式策略,并引入-回报权衡估计偏差和多步采样导致的方差。在一组具有挑战性的多智能体协作场景中的实验结果表明了MMDN的有效性。（2）本文还提出了一种基于注意力网络的多智能体值分解深度强化学习算法——多智能体协作意愿网络（Multi-Agent Collaborative Willingness Network,MACWN）,对智能体网络的建模进一步加以改进,将智能体协作的动机拆分为行为效用和协作意愿,行为效用表示智能体自我行动的价值估计,主要依赖于智能体自身的状态,协作意愿表示智能体与同伴智能体协作的意愿,主要依赖于周围同伴智能体的状态,行为效用和协作意愿共同决定智能体的策略输出,因此不同的协作意愿可能会改变智能体最终执行的动作。MACWN同样利用引入-回报的多步时间差分方法通过联合动作值函数计算时间差分目标端到端地训练智能体分散式的策略。实验结果表明了MACWN的性能优于MMDN。