自主水下航行器(Autonomous Underwater Vehicle,AUV)已成为水下无人自动化作业过程中的一种重要工具,在实际应用中,展现了越来越强的重要性。AUV发展的这几十年来,伴随着工业控制领域各种控制算法的推陈出新,AUV的控制算法也在不断的优化更新。从最初经典的比例-积分-微分(Proportion-Integral-Differential,PID)控制算法衍变到模糊控制、自适应控制,再到智能控制以及各种组合控制算法,使得AUV的控制趋于成熟,但是面对更加复杂的任务和工作环境,上述算法还存在一些诸如:自适应能力不强、鲁棒性不好、控制精度较差等问题。本文针对传统的AUV控制算法所存在的缺点进行改进,提出了基于增强学习的AUV控制算法。本文研究了AUV运动学和动力学模型,设计了基于增强学习的AUV控制改进算法,搭建了小型AUV控制系统并验证了算法实际性能,具体研究内容阐述如下:1.针对复杂的浅水域环境,建立了水下航行器的六自由度运动学和动力学方程,并针对本文所设计的小型自主水下航行器进行了模型的简化,根据所提出的模型,进行了仿真验证。2.研究了常用的增强学习算法,分析了这些算法的特点和应用范围。然后研究了水下航行器的控制模型,结合增强学习的特点,设计了基于增强学习的水下航行器控制算法。在算法中采用了基于策略梯度的DPG(Deterministic Policy Gradient)结合神经网络的方法提高算法泛化能力,并借鉴了DQN(Double Q-Network)的思想,采用了相同结构的双网络模型,来解决算法训练中的不稳定性。针对水下航行器续航时间短的问题,在控制算法的经验回放样本池中引入优先级概念,使用二叉树的方式来实现样本的优先级采样,使得算法的收敛速度迅速提高,增加了水下航行器的续航能力。3.针对江河湖泊等浅水域环境,本文设计了一款小型的自主水下航行器,独特的外观设计使其既具有鱼雷状AUV的低阻力优点,又具有开架式AUV灵活的运动控制。为了在陆地上可以实时、直观地了解水下航行器的运动状况,本文还配套设计了一个地面站系统,其具有数据双向通信、运动控制、任务下发等多种功能。最后,通过进行大量的仿真实验,对本文所提出的控制算法进行有效性验证。同时基于搭建的控制系统,在实际环境中使用所提出的控制算法对AUV进行控制,相关实验结果也表明了该控制算法具有良好的控制效果。