航母作战是现代海上军事作战中的关键部分,航母作战的决胜环节是实现安全高效的舰载机调度决策。随着军事科技发展进步,传统启发式智能算法辅助人工决策是目前舰载机编队出动回收作战调度应用最为广泛的方法。然而航母作战环境高危多变,航母甲板空间狭小、各类设备繁多,舰载机需要在具有动态不确定性的甲板空间完成保障、出动、回收等调度任务,这给原本就颇为复杂的航母作战增加了难度。同时由于海上作战任务的特殊性,调度算法需要支持舰载机持续出动回收,并能够在线对突发状况做出即时决策。目前常用的启发式算法批量对任务进行决策计算,这样会限制大规模舰载机持续出动能力和在线作战能力。针对传统调度算法在高危多变环境下实现多目标在线调度所面临的困境,提出应用基于马尔可夫决策过程的深度强化学习算法解决大规模舰载机持续出动回收过程中的多目标在线调度问题。本文的主要贡献包括:(1)针对舰载机持续出动回收的多目标在线调度问题,提出以减小舰面位移、减少会遇次数、均衡设备利用率和稳定调度周期作为调度决策目标,依照马尔可夫决策过程,构造以舰载机和各设备状态作为输入、调度行为值函数作为输出的在线调度即时决策模型。设计一种Action-Mask机制,提高动作选择效率,并将奖赏设置为带权重的特征向量,将多目标问题标量化为单目标进行求解,更符合实际应用的要求。该模型在有突发状况的舰载机持续出动回收的在线调度实验中,能够进行高效的调度决策。(2)针对舰载机出动回收调度问题的动态不确定性,利用深度强化学习算法进行调度决策的优化。将动态不确定性衡量为状态的一部分,在每个决策点随马尔可夫决策过程进行状态转移。为了避免过高估计,本文利用Double-DQN学习算法,构建两个网络分别进行动作选择和评估。利用可变的ε-贪婪策略选择执行的动作,同时为了避免神经网络训练过程中产生梯度爆炸和梯度消失,在神经网络中加入Batch Normalization层对输入的数据进行批正则化处理,使用自适应的激活函数,并在反向传递计算梯度时执行梯度剪裁。优化的深度强化学习算法得到的调度策略能够实现多目标优化,与启发式算法和调度规则对比有明显优势。(3)针对本文研究问题是在部分可观测环境下,为了从环境中获取更多的信息用于网络训练,得到更全面准确的决策模型,本文采用深度递归Q学习算法利用时序经验训练模型。同时,在神经网络中加入了注意力机制和优先经验回放机制,实现加快收敛速度并探索更优策略的目的,所得到的决策模型也更为稳定。