强化学习以试错的方式,在与环境的交互过程中学习策略。近年来,深度强化学习模型凭借其在游戏中超越人类的性能引起了广泛的关注。虽然深度强化学习模型具有很好的性能,但应用到实际中却存在不容忽视的安全问题。因此,构建可信的深度强化学习系统是非常必要的。本文主要关注深度强化学习的鲁棒性和安全性两个方面,它们都侧重于模型本身的可信程度。在这里鲁棒性关注的是模型对自然噪声的抵抗能力,而安全性则关注的是人为扰动,通常包括对抗攻击和对抗防御两个方面。首先,在鲁棒性方面,本文考虑如何处理由自然噪声导致的异常样本。由于深度强化学习具备序列化特性和自学习性质,我们提出采用强化学习模型来求解时序异常检测任务。具体来说,将时序异常检测任务建模为马尔科夫决策过程,然后采用基于策略函数的强化学习算法学习检测策略。与之前的时序异常检测模型相比,我们构造的基于策略函数的强化学习时序异常检测器不仅在相同的训练和测试集上具有更优的异常检测性能,而且在不同的训练和测试集上也表现得更好。其次,在对抗攻击方面,本文考虑如何对深度强化学习模型进行黑盒攻击从而有效地评估该模型的脆弱性。由于强化学习自身具备序列性,并且在黑盒场景下还能够提供奖励信号作为攻击效果的反馈,因此我们提出了一种使用强化学习的攻击框架。此外,为了生成语义上具备自然性的对抗样本,我们采用生成对抗网络和三个额外的辅助损失来实现基于强化学习的黑盒攻击模型。在多个Atari环境上的实验结果表明该框架生成的黑盒对抗样本具有更强的攻击性能,并且具备语义自然性。最后,在对抗防御方面,本文考虑强化学习系统如何防御奖励扰动。具体来说,将奖励看作监督学习中的标签,借助噪声标签学习的方法构建一个复原奖励模型,该模型以状态动作对为输入,以扰动后的奖励作为标签,采用泛化的交叉熵损失来训练模型,最终得到复原后的奖励。深度强化学习模型再采用复原后的奖励来学习最优策略。在多个Atari环境上的定性和定量实验表明相比于其它防御策略,该复原模型学习得到的复原策略能够获得更高的奖励分数,即具有更强的防御能力。综上,本文旨在构建以鲁棒性和安全性为主的可信深度强化学习系统,通过对自然噪声和人为扰动的处理和研究,使得深度强化学习模型具备更强的鲁棒性能和安全保证,从而更有利于应用到实际生产生活中。