导航是移动机器人最重要的功能之一,传统导航系统的性能表现很大程度依赖于先验地图的质量,且由于环境的动态特性,系统往往需要耗费较多的计算资源和时间进行地图的更新与维护。本文尝试使用强化学习作为导航学习算法,使导航系统摆脱对先验地图的依赖。当前强化学习所面临的主要挑战包括学习效率偏低以及泛化性能较弱,这直接限制了此项技术在真实环境中的应用部署,而智能体用以描述世界的状态表征是导致这些问题的重要因素之一。本研究从状态表征入手,通过为智能体提供高效紧凑的状态表征,提高强化学习算法的学习效率与泛化性能。论文首先针对静态环境,将智能体的状态表征与策略分开训练,并对前者进行专门的优化。具体来说,针对视觉数据,本研究采用一种被称为对比学习的方法进行状态表征学习。同时,由于传统卷积神经网络的感受域受限于卷积核的大小和形状,智能体很难查询距离较远的像素点之间的相关性,因此本文提出使用注意力机制替代卷积层的方法,在不加深模型深度的情况下,使模型能够直接查询像素之间的相关性,并获得能够对整张图像关键信息做出紧凑概括的固定长度的向量,从而降低无关信息对智能体决策的影响。实验结果表明,相比于当前主要的状态表征学习方法,该方法获得的状态表征提高了强化学习智能体的学习效率与泛化性能,并使其所能获得的最高奖励提升一倍以上。然而,由于真实场景是动态的,具有不确定性,采用上述将状态表征与策略分开训练的做法可能会使智能体在状态表征学习阶段忽略对环境不确定性的考虑,因此第二部分的研究针对多智能体动态环境,采用状态表征与策略联合训练的方式,在学习策略的同时针对状态表征进行优化。具体来说,通过在多智能体系统中嵌入图注意力网络方法,使每个智能体学会只专注于系统中对其自身影响最大的其它智能体,并将智能体间共享信息中的关键部分编码成固定长度的特征向量,从而提高了强化学习算法的样本效率,并减低了多智能体系统对智能体数量的敏感性。感知是决策的基础。本研究为智能体提供了有效的环境状态表征,使其能够关注环境中的关键信息并屏蔽无关噪声,从而提高了决策的效率与质量,为后续强化学习技术部署到更加复杂的真实环境中提供了更好的感知基础。