众所周知,人工智能现在已经成为生活和科学研究中难以绕开的主题。目前,设计能够面对复杂环境并在环境中做出良好决策的智能体是现代人工智能研究的基础。在控制科学领域,对传统单一对象的控制方法和理论已经愈发成熟。同时,随着被控对象的数量的增加,多智能体系统逐渐成为在控制领域一个研究的热点。与传统的单一对象控制不同,对多智能体系统的控制往往需要考虑智能体所处的环境对整个智能体系统的影响。不幸的是,在实际应用中,智能体对环境的观察由于传感器的限制往往是部分的,不全面的,因此这就给系统带来了不稳定的因素。同时,相较于单一被控对象,多智能体系统的不稳定性也同样来自于智能体之间的相互影响和制约。因此,多智能体系统成为了目前人工智能研究人员面临的一个主要的研究难题和极具挑战性的任务。随着近些年机器学习的发展,人工智能和机器学习逐渐成为了两个互相交叉的学科。在机器学习中出现了一个重要分支,强化学习。不同于传统的有监督学习和无监督学习,这种方法是一种不断试错的过程:通过与环境的不断交互,获得环境给予的奖励或者惩罚信号。智能体不断学习怎样能够积累最大化奖励的策略,最终形成一个能够完成既定目标的智能体。这种方法在单智能体控制领域已经逐渐成熟并已经拥有了广泛的应用。由于本身模型的建立就基于被控对象和环境的交互,其具有一定的可扩展性和不受环境模型限制的良好限制因此也被广泛的应用于求解博弈均衡和优化非凸问题当中。经过学者们持续不断的研究,强化学习已经被认为是用在解决多智能体系统控制的一种较优的范式。本文主要基于强化学习算法,研究目前协作多智能体系统规模大,强实时性和不确定性的问题。研究协同多智能体系统的强化学习算法框架和实现。完成的主要工作和成果如下:（1）介绍了多智能体系统与人工智能发展的联系和其两者之间的关系以及强化学习应用于多智能体系统中的现状;（2）通过结合部分可观的马尔科夫决策过程和博弈论中的思想,梳理了目前应用于多智能体系统中的强化学习算法的研究方向和思路以及其所面临的挑战;（3）为了避免“团队学习”引入的“维数灾难”而导致的计算困难的问题,本文着重分析分布式学习中引入的智能体策略不协调的机理问题。针对在多智能体系统中出现的“最优动作遮蔽”的具象问题,相对过泛化问题展开分析。同时,本文提出一种打破目前值分解强化学习算法需满足的前提“Individual-Global-Maximum Principle”的一类“最优动作遮蔽”问题。本文通过博弈理论中的经典环境“囚徒困境”来对ILs下求解这类问题的困难进行说明和分析;（4）本文提出了一种结合模糊控制的宽容强化学习方法,通过动态调节算法的学习率区分智能体策略对联合回报的影响,同时能够提升算法对最优联合回报的拟合力度。在不增加显性通信和交流的情况下避免在多智能体系统中出现的最优动作遮蔽。最终提升算法能够取得的回报。从矩阵博弈的角度分析了“相对过泛化”问题的机理。在重复博弈的环境下,将现有的应用于矩阵博弈的强化学习和线性规划算法与本文中提出的结合模糊控制理论的新的强化学习算法性能进行对比;（5）在一种“近似囚徒困境的环境”,本文将其称为:“对称窄通道问题”的环境下对近三年来在多智能体强化学习中取得最优的多智能体强化学习算法COMA（基于Actor-Critic的中心化训练去中心化执行算法）与Qmix（基于值分解的CTDE算法）进行了算法性能的比较。证明了在打破IGM原则的情况下且回报延迟的环境下,基于值分解的方法和基于Actor-Critic的中心化训练去中心化执行算法难以学到优秀的策略,同时证明了本文的算法在这种环境中性能的优越;（6）在一定规模的智能体系统（MAgent环境）中验证本文提出算法的性能。为了能够适应现有的实际使用的多智能体系统,本文提出了一种模拟智能体系统上位机中心控制和下位机并行分布式执行的结构。这种结构更加类似于实际系统也符合多智能体强化学习中的（CTDE）范式,同时也可以更好的节省现有的计算资源。另一方面,将本文提出的算法与环境提供的Benchmark算法以及另一种宽容学习的算法进行了比较,证明了本文的算法在一定规模的智能体系统中能够取得较优的结果。也能够说明本文提出的算法是一种具有一定泛化能力的算法范式,因此在下一步的工作中将针对研究的一些不足进行研究。