无人水面艇作为海洋无人系统的重要组成部分,是海洋环境下重要的运载工具,在海洋军事、民用和科研等领域占据着举足轻重的地位。路径跟踪控制作为无人艇运动控制的关键技术,是保证自主航行质量的重要基础,一直都是研究的热点。随着近年来机器学习等人工智能技术的快速发展,越来越多的研究人员将智能控制技术应用于无人艇的路径跟踪控制研究中。本文将在已有的无人艇硬件系统基础上,独立设计并开发一套远程监控系统和航行控制系统,针对航行控制系统中自主航行功能,重点研究深度强化学习方法在航向控制和路径控制方面的应用,分别设计基于深度强化学习方法的航向控制器和路径跟踪控制器,具体研究内容如下。通过引入无人艇运动参考坐标系,并在相应坐标系下建立无人艇运动学模型和动力学模型,同时根据研究需要将模型简化为仅考虑艏摇、纵荡和横荡的水平面三自由度模型,在此基础上建立无人艇操纵响应模型,并确定后续研究使用的视线制导方法的具体形式。然后设计并开发无人艇的远控系统和航控系统,详细设计了各系统之间的数据通讯协议,并通过外场试验验证各系统的基本功能。针对固定参数的航向PID控制器控制精度差和超调量大等问题,采用深度强化学习方法设计出参数调节器,能够让控制器在航向控制过程中根据控制误差状态在线调整控制器的控制参数。通过分析不同期望航向条件下的仿真结果,验证了参数调节器对控制参数的调整可以提高航向控制的效果。在对航向控制器的研究基础上,结合视线制导方法,针对固定参数的路径跟踪PID控制器适应性能差,在处理大航向误差时控制器基本失效等问题,设计基于深度强化学习方法的路径跟踪PID控制器,并通过仿真实验与固定参数的PID控制器进行控制性能对比。针对船只数学模型的不确定性以及未知干扰对模型参数的影响导致的无法精确建模问题,完全使用深度强化学习方法设计出无模型的路径跟踪控制器,实现了路径跟踪的端到端控制,并通过仿真实验验证了控制器的有效性。