论文部分内容阅读
探索与利用的均衡一直是强化学习研究的重点之一。探索帮助智能体进一步了解环境来做出更优决策;而利用帮助智能体根据其当前对于环境的认知来做出当前最优决策。强化学习通过与环境交互生成训练数据进而评估并更新所学策略,而非根据正确的策略指导学习过程,因此强化学习在学习过程中需要高效的探索。强化学习与环境交互获得回报,进而通过最大化累积回报来学习最优策略,因此环境中的回报函数直接影响强化学习的学习结果。当环境中回报稠密时,传统探索方法例如Optimistic Initial Values,Upper-Confidence-Bound Action Selection,Thompson Sampling等,通过衡量基于值函数的强化学习算法中值函数学习过程的不确定性,可极大提升算法的探索效率,且有充分的理论证明。但它们仅适用于离散状态空间,当状态空间很大甚至连续时,这些算法并不适用。当环境中回报稀疏时,强化学习算法与环境交互时难以获得正向回报,会导致性能低下。后视经验回放算法(Hindsight Experience Replay,HER)通过在每一回合结束时回放除原始目标状态之外的一部分新目标状态以增大训练数据中拥有正向回报数据的比例,进而根据新目标状态与原始目标状态之间的相似性学习到目标约束策略。但当原始目标状态始终难以到达时,HER回放生成的新目标状态与原始目标状态之间关联性就会较弱,从而导致难以学习到目标约束策略。针对环境回报稠密和回报稀疏情况下存在的问题,本文在通过回报函数提高算法探索效率方面开展研究,主要内容包括:(1)针对回报稠密时传统探索算法不适用于低维连续状态空间环境,提出基于状态空间自适应离散化的RMAX-KNN探索算法。该算法通过对低维连续状态空间进行自适应离散化划分并对离散点的状态行为值进行更新,同时用真实状态行为点K近邻中不满足给定距离阈值的离散点数来衡量当前状态行为对的不确定性,进而采用KNN回归将RMAX探索算法思想应用于低维连续状态空间环境中。状态空间的自适应离散化程度影响真实状态行为对的不确定性,而带有不确定性的状态行为对的状态行为值则会鼓励智能体(Agent)对环境进行进一步的探索,提高Q-learning及Sarsa算法的探索效率,同时理论证明此算法是一种PAC(Probably Approximately Correct)最优探索算法。(2)针对回报稀疏时强化学习算法性能低下,提出多阶段后视经验回放算法。该算法一方面根据原始目标状态空间与Agent初始位置之间的相对距离将原始任务划分为多个难度逐渐增加的阶段,另一方面Agent利用后视经验回放算法由易到难依次学习到达每一阶段指定目标区域的目标约束策略,从而形成一种明确的课程学习形式,并增强各阶段中回放目标状态与目标状态的关联性。当多目标稀疏回报环境中原始目标状态难以到达时,该算法可以帮助强化学习算法学习到目标约束策略。本文针对回报稠密和回报稀疏时存在的部分问题,研究提高强化学习算法探索效率的方法,取得的成果对传统RMAX探索算法在低维连续状态空间的有效拓展、多目标稀疏回报环境下最优策略的学习有一定的意义,同时对于用强化学习方法解决实际问题也有一定的应用价值。