论文部分内容阅读
随着海上交通逐渐向高速化、密集化、复杂化发展，传统船舶避碰技术往往不能及时正确地处理复杂的船舶会遇问题，船舶碰撞事故仍频繁发生，造成重大危害与巨大的经济损失。据统计，船员在执行避碰决策时未按照国际海上避碰规则(COLREGS，以下简称避碰规则)行动是导致船舶碰撞事故发生的主要原因。当前避碰规则是基于人为协议建立的，对于某些避碰规则条款的解释具有一定的开放性，难以做到统一标准。针对船舶避碰技术存在的问题，建立具备处理多种会遇场景决策能力的智能避碰决策系统已成为各国的重要研究课题。为减少因人为操作不当导致的船舶避碰事故，提高船舶航行安全性，本文提出一种基于深度Q网络(Deep Q Network, DQN)强化学习算法的船舶智能避碰方法。本文主要内容包括：
(1)提出基于强化学习的船舶避碰模型设计准则。梳理了船舶避碰决策过程，并给出了船舶会遇态势划分模型与船舶安全会遇距离模型；简要介绍了强化学习算法基本原理，结合船舶避碰特点提出了基于强化学习的船舶避碰面临的问题。在对避碰规则充分理解的基础上，提出了避碰规则量化评估标准，并分别从避碰决策实时性、遵守避碰规则、恢复航向三个方面提出基于强化学习的船舶智能决策应满足的设计准则。
(2)构建基于DQN的船舶智能避碰模型。通过实时采集船舶航行状态信息，结合船舶碰撞紧迫程度、航向偏移的测算值以及会遇态势判断结果等要素，从全局角度设计船舶智能避碰DQN状态集。分析船舶航行特点，并结合避碰规则量化评估标准，分别从“航向保持”和“船舶避让”两个角度对船舶智能避碰DQN奖励函数进行设计。最后梳理基于DQN的船舶智能避碰算法实现流程。
(3)基于船舶DQN智能避碰算法进行避碰仿真验证。分别针对两船的多种会遇局面与多船会遇场景进行数值仿真实验设计，根据DQN算法收敛效果与船舶仿真轨迹结果分析表明，本文提出的船舶智能避碰方法可以较好地完成复杂的避碰任务。
本研究基于深度强化学习理论，在充分理解避碰规则的基础上提出了一种基于DQN船舶智能避碰算法，拓展了船舶避碰智能化的研究思路，可为船舶智能避碰技术的研究提供参考。
(1)提出基于强化学习的船舶避碰模型设计准则。梳理了船舶避碰决策过程，并给出了船舶会遇态势划分模型与船舶安全会遇距离模型；简要介绍了强化学习算法基本原理，结合船舶避碰特点提出了基于强化学习的船舶避碰面临的问题。在对避碰规则充分理解的基础上，提出了避碰规则量化评估标准，并分别从避碰决策实时性、遵守避碰规则、恢复航向三个方面提出基于强化学习的船舶智能决策应满足的设计准则。
(2)构建基于DQN的船舶智能避碰模型。通过实时采集船舶航行状态信息，结合船舶碰撞紧迫程度、航向偏移的测算值以及会遇态势判断结果等要素，从全局角度设计船舶智能避碰DQN状态集。分析船舶航行特点，并结合避碰规则量化评估标准，分别从“航向保持”和“船舶避让”两个角度对船舶智能避碰DQN奖励函数进行设计。最后梳理基于DQN的船舶智能避碰算法实现流程。
(3)基于船舶DQN智能避碰算法进行避碰仿真验证。分别针对两船的多种会遇局面与多船会遇场景进行数值仿真实验设计，根据DQN算法收敛效果与船舶仿真轨迹结果分析表明，本文提出的船舶智能避碰方法可以较好地完成复杂的避碰任务。
本研究基于深度强化学习理论，在充分理解避碰规则的基础上提出了一种基于DQN船舶智能避碰算法，拓展了船舶避碰智能化的研究思路，可为船舶智能避碰技术的研究提供参考。