机器博弈是人类智能行为的模仿与提升,是人工智能技术理想的实验床,被称为“人工智能的果蝇”,具有广泛的应用前景。深度强化学习是目前求解机器博弈问题的有效手段和主流方法,但是深度强化学习方法目前还存在一些问题,其中,超参数设定问题由于直接影响学习的效率,因而具有重要的研究价值。本文研究深度强化学习的超参数自适应方法,主要工作和研究成果如下:一、对面向机器博弈的深度强化学习方法进行了系统地调研。针对领域base-line失效问题,本文依据领域标准实验方法和评估方式,给出了最新的baseline结果。此外,对主流深度强化学习算法进行了实验研究和分析,包括算法样本效率、算法采样效率等,并由此发现了一些新的现象,得出了一些新的结论。二、提出了一种基于群体的高效在线深度强化学习超参数自适应训练方法。区别于传统的有监督学习,深度强化学习是一个高动态-非平稳的优化过程。深度强化学习的性能对其超参数配置的选择十分敏感,例如学习率,折扣系数和步长等。对深度强化学习而言,超参数最理想的状态应该是随着学习过程的推进,进行自适应地调整,而不是从始至终使用一组固定的超参数配置。对此本文提出了一种基于群体的高效在线深度强化学习超参数自适应训练方法,该方法是PBT的一种改进版本。受遗传算法的启发,重组操作被引入到群体中以加速群体向更好的临时最优超参数配置收敛。通过一系列的实验研究证明,本文所述方法可以使模型性能获得进一步的提升。三、提出了一种基于群体的两阶段超参数自适应训练方法。在先前研究的基础上,本文提出了一个猜想:在学习模型对环境知之甚少的早期阶段,频繁的超参数变化对模型的有效学习没有帮助,而使用一组合理的固定超参数配置进行学习将有助于模型尽可能快速稳定地获得必要的知识。本文认为这对于强化学习的早期阶段尤为重要。我们首先通过实验验证了所提出猜想的合理性,在此基础上提出了一种基于群体的两阶段超参数自适应训练方法。实验结果表明,本文提出的方法可以使基于群体的超参数自适应方法获得显著的性能提升。