飞行器如无人机（Unmanned Aerial Vehicle,UAV）等在生产生活中的广泛应用,让自主飞行控制变成飞行器领域的核心技术和重难点问题。如何设计实现高效优质的自主飞行控制系统成为新一代智慧飞行器设计制造的关键问题之一。目前大部分飞行控制研究关注的是低延时下的人为控制;或者是编制好任务路径以硬编码的方式让飞行器按照规划好的路径前进以完成任务。这两类飞行器控制技术均不能脱离人的控制和规划,不具备真正意义上的自主性,所以极大地限制了任务的应用场景、降低了飞行器的使用效率。本文研究的是在复杂环境的任务下,控制计算、带宽有限的飞行器自主飞行问题。在无人机的飞行任务中,无人机一方面需要感知周围场景的变化以确保自身的安全问题,另一方面需要根据控制人员设置的飞行任务,尽量在最短的时间内完成任务目标。随着计算技术的发展,深度学习在计算机视觉,强化学习等领域取得显著成果。深度学习本身具有简单、可学习的特点,基于深度强化学习的飞行器自主飞行控制技术具有理论上的可行性和先进性。本文将基于深度强化学习方法实现无人机的自主控制,具体工作如下:1)从神经网络结构角度出发,设计了融合注意力机制的深度确定性策略（Deep Deterministic Policy Gradient,DDPG）网络。使用了多演员家单评论家结构,动作由多个演员家共同决定,每个演员家的重要性程度由注意力模型决定。实验结果表明注意力模型能够在加速强化学习训练的同时能够保持甚至显著提升强化学习的最终效果。2)强化学习可以在环境中学习,获得新的经验,但是这些经验在策略不够优秀或者策略未收敛时,通常是无法得到高的平均回报的或者回报的方差很大。强化学习在初始状态下一般并不会有好的策略,很难学习到有用的知识。但是人类经验——手动收集的数据却有着质量保障。本文将参数预训练和优先人类经验池两种方式注入人类经验,从而降低了训练时间开销,提高了强化学习的可靠性。3)为了获取大量多模态数据,同时为了加快强化学习网络的训练。本文搭建了分布式学习框架,同时为了减少过拟合,本文在分布式学习框架中使用了延迟传送的方法;为了更加有效地进行探索,本文使用了Ornstein–Uhlenbeck noise替代了传统的噪声方法。在以上工作的基础上,实现了在AirSim仿真环境下无人机自主飞行至目标点附近,并取得了较高的成功率。