我国于2015年发布了《中国制造2025》计划,其中工业自动化中的机械臂作为主要的技术领域被重点关注。现代工业中机械臂应用还停留在人工示教的状态中,未来工业机械臂需要智能化,也就是要求机械臂具有一定的自主运动规划能力。所以本文研究了机械臂在无模型多物体环境中,通过强化学习算法将推动和抓取动作结合起来,并规划出合适的策略来完成抓取任务。在调查国内外现阶段研究现状的基础上,通过阅读大量的国内外书籍、论文和参考文献。本文首先从机械臂建模基础开始,简述建模涉及的数学基础和运动学问题,以及强化学习算法。指出现在机械臂运动规划研究中所面临的问题,然后提出应用强化学习算法的思想,解决机械臂在无模型多物体环境中遇到的困难和问题。本文主要的创新方法有两方面:第一,通过人类在多物体环境中抓取物体的习惯,提出将推动动作和抓取动作相结合的机械臂行为模式。通过推动动作重新排列杂乱物体,为机械臂和执行器腾出抓取的空间,同时抓取动作可以移动物体,使推动动作更加精确。第二,在无模型强化学习的DQN算法中,采用了两个全卷积网络对推动动作和抓取动作分别进行训练。通过这种方式,使推动和抓取协同作用变成可能,并使机械臂学会了使抓取能够成功的推动动作策略。本文在仿真和真实环境中进行了训练和测试,通过多种积木随机的组合和固定的特殊组合来构造环境,使机械臂通过这些环境进行充分的训练和测试,保证最后得到的策略能够达到想要的结果。最后,通过实验证明,利用强化学习算法可以使机械臂快速地学会推动和抓取动作的协同策略,并在多物体的环境下能够高效地完成抓取任务。