足式机器人由于其灵活性具有广泛的应用场景,但是其运动控制较为复杂,传统的方法对机器人软硬件的精确度要求非常严格,导致成本过高。因此本文希望借助深度强化学习(Deep reinforcement learning,DRL)这一领域的算法,让机器人可以通过学习找到适合自身结构的控制方法。本文将强化学习算法与机器人相结合得到任务导向型机器人框架,并在该框架内提出机器人行走任务模型,然后对强化学习算法进行深入研究提升性能,最后搭建实验环境并测试,主要工作可以总结为如下几个方面:(1)改进了 SAC(Soft actor critic)算法。采用分段浮动调节因子代替原有的固定调节因子,在训练过程中动态的调整目标函数中策略熵的比重,仿真结果表明,性能相比原始SAC算法提高了 7.7%。(2)提出了新的DRL算法SMPSAC。先利用模型预测控制(Model predictive control,MPC)优化SAC算法(改进后)输出的动作,得到中间算法MPSAC,再采用策略熵改进MPC的目标函数,弱化MPSAC中的模型误差带来的负面效果,得到最终算法SMPSAC,仿真结果表明,算法SMPSAC相对原始SAC性能提升了 20%。(3)设计并搭建机器人测试平台。平台包括:使用3D打印的组件组装的4足机器人,机器人状态检测装置和复位装置。测试平台满足DRL算法的要求,机器人和学习的目标也可以较为方便的更换。(4)四足机器人行走测试。使用SMPSAC算法让真实环境下的机器人从零学会走路。本文不仅提出了新的DRL算法,也在真实环境下证明了只要设定目标,给予合适的奖赏,便可以让机器人朝着目标不断进步,为低成本的足式机器人的运动控制提供了一种解决方案。同时未来也可以在DRL算法与实验环境不变的条件下更改机器人学习的目标,简化了机器人的设计流程。