随着人类对海洋探索的不断深入,科学考察与水下作业等活动也日渐增多,对支撑这些活动的水下作业设备、水下作业技术也提出了更高的要求,水下液压机械臂作为水下作业的主流工具之一,通常会搭载在水下机器人上共同完成水下作业。目前水下机械臂的控制方式以主从伺服控制为主,虽然主从伺服控制方式较为成熟且被广泛应用,但其作业效果很大程度上取决于工作人员对于水下环境的感知以及临场操作,整个过程耗费时间长,作业精度低,已经越来越不能满足高效复杂的任务需求。如何将自主作业技术应用于水下复杂作业任务是目前亟待突破的关键技术问题之一。实现水下机械臂自主作业面临着诸多问题,例如水下机械臂的建模与运动控制、水下目标物识别与定位、水下机械臂轨迹规划等。本文将研究重点放在水下液压机械臂的运动控制之上,将深度强化学习与水下液压机械臂的运动控制相结合,实现对典型目标物的自主抓取,具体内容如下:首先,为水下液压机械臂建立运动学模型,并对其工作空间进行分析求解,针对机械臂末端定位精度较差的问题,对其进行了关节标定与运动学标定,保证了机械臂末端定位精度满足抓取要求。其次,为水下液压机械臂搭建了基于ROS的运动控制系统,包括上位机中利用单目视觉与ArUco二维码实现对目标物的定位以及建立水下机械臂、深度强化学习智能体、仿真环境之间的通讯等。选择对连续动作训练更为有效的PPO算法进行落地,为水下机械臂搭建基于OpenAI-Gym与MuJoCo的仿真训练场景“SIA7FARMPickANDPlace-v1”,针对典型目标物抓取任务采用了一种新型奖励函数,训练结果表明新型奖励函数的收敛速度、每回合的平均奖励均优于传统奖励函数,仿真环境中的抓取成功率可以达到90%左右。最后设计并进行了陆地以及水下实验,对实验过程中机械臂末端路径以及关节角度进行了误差分析,并与基于传统视觉伺服的水下目标物抓取方法进行对比,验证了基于深度强化学习的水下目标物抓取方法的可行性和有效性。