随着人工智能的迅速发展,深度强化学习算法被广泛地应用在机器人领域,以解决机器人操作技能学习问题。推动和抓取技能是家庭服务机器人最基本、最主要的技能。针对家庭服务机器人目标推动与抓取操作技能学习阶段面临训练成本高、动作效率低等诸多问题,本文结合深度强化学习算法并加以改进,基于此设计更加高效的家庭服务机器人目标推动与抓取操作技能学习算法,以提高家庭服务机器人在复杂环境下的感知能力和自主决策能力,具体研究内容如下。首先,针对机器人在复杂环境下对目标物体推动与抓取操作技能学习时存在学习效率低、成功率低等问题,提出了基于视觉注意力的深度Q学习机器人操作技能学习算法。首先,在视觉网络中引入注意力机制,提高对工作区域内目标物体的感知能力,充分提取工作空间的特征,生成目标功用性图。其次,机器人利用自我监督训练的深度Q学习拟合计算“推动”和“抓取”离散动作的Q值,选择执行下一步动作。最后,在V-rep仿真平台中建立机器人仿真环境,设计了对比实验,验证了基于视觉注意力的深度Q学习算法解决在复杂环境下机器人推动与抓取操作技能学习问题的有效性。然后,针对基于视觉注意力的深度Q学习的机器人推动与抓取操作技能学习算法存在动作协同不理想的问题,提出了基于Actor-Critic框架的深度强化学习算法DQAC（Deep Q Actor Critic）。首先,对整个算法框架进行了模块化设计,主要分为视觉机制模块和动作机制模块,视觉机制模块拟合Q值计算机器人执行动作的位置参数和运动角度参数,动作机制模块采用Actor-Critic思想去探索一种最优的动作选择策略。其次,使用双经验池分别存储图像数据和动作数据,对训练数据进行批训练,提高对训练数据的利用率。最后,通过实验验证了DQAC算法解决机器人推动与抓取操作技能学习问题的高效性。