随着“无人机+”时代的到来,越来越多的物流公司开始关注无人机在物流体系中的应用,一场颠覆物流行业的革命已经悄然开始。然而无人机货运若想真正投入使用仍存在诸如实时调度等技术的挑战,无人机货运大数据的实时传输与管理则是货运调度的关键环节。由于无人机货运数据具有多源化、海量、速率快的特点,无人机调度对于实时性有着很高的要求。本文针对无人机货运大数据的实时传输、存储及处理技术展开研究,并根据实际需求设计并实现了无人机货运大数据实时传输及管理系统。本文主要工作如下:(1)通过对现有大数据实时传输、存储及处理技术的分析,选取了适合于无人机货运大数据的实时传输及管理技术,并对相关技术与理论进行了阐述。(2)针对HBase海量流数据存储时会存在存储热点,短时间内数据存储负载过高等问题,提出了一种基于HBase的无人机货运流数据实时存储优化方法。本文方法通过对无人机货运实时流数据的行键优化,并采用多源数据缓冲优化和数据服务器预分区的数据分布策略,以解决数据分散问题和数据存储热点问题;同时,为了解决线程生命周期系统开销问题,引入优先级动态切换的多队列线程池机制,以提升数据高并发状态下系统的处理能力;最后给出了一种针对无人机货运大数据复杂条件的查询与删除方法以保证数据的查询效率。(3)针对Storm默认调度算法对于节点资源的利用率不高、系统响应时间较长等问题,提出了一种基于布谷鸟搜索算法的Storm集群动态负载均衡策略。设计了一种改进的布谷鸟搜索算法,将任务调度模拟为布谷鸟寻窝产卵的过程。基于布谷鸟搜索算法的Storm集群动态负载均衡策略综合考虑集群的CPU、内存、网络带宽等资源的实时利用情况,通过布谷鸟搜索算法的寻优过程自适应地确定节点性能权重,并根据权重动态分配任务,实现了资源的合理分配及集群动态的负载均衡,从而减小了集群响应时间,提升了系统处理的实时性。(4)根据无人机货运大数据实时传输及管理系统的实际需求,完成了系统设计,并将数据存储优化和处理优化应用到系统中,在此基础上完成了系统框架及主要功能实现,经初步验证,效果良好。