随着空天遥感大数据技术的飞速发展,多维、多尺度、高分辨率的遥感影像与无人机低空遥感图像数据呈现爆发式增长。传统分类软件在对这些海量影像数据进行处理时存在耗时较长以及分类精确度浮动范围过大的问题。为保证分类精度在合理范围波动的前提下进一步提升分类效率,本文将Flink流处理运算架构与Hadoop分布式系统相结合,从集群过载保护、预防数据倾斜两个方面来进行优化,设计了一种基于Flink的快速无人机遥感图像分类处理方案。本文开展的具体工作内容如下:针对现有遥感图像与无人机低空遥感图像数据量大、地物信息复杂的特性,将Flink分布式流处理引入到遥感图像数据分类过程之中。为防止在多线程处理过程中的异步化、耦合、线程安全等问题的出现,本文在利用Flink集群从Hadoop分布式文件系统HDFS中读取图像时,以流的方式进行处理,与普通的处理模式相比能有效缩短数据读取时间,并减少无谓的I/O消耗。为解决客户端在与集群服务器在海量图像交互处理时过载问题,本文利用Kafka对Flink集群在的Checkpoint机制进行了优化与改进,提出了一种Flink集群进行海量图像数据处理时故障暂存的优化方案。通过判定在海量遥感图像与无人机低空遥感图像处理过程中服务器是否达到运算性能上限,利用双通道处理模式,在达到集群处理模式上限时,将图片加密压缩后启用Kafka分布式消息订阅系统进行缓存,以此来防止数据积压而导致的集群处理效率下降与文件损坏的问题。之后待集群无压力时再从Kafka中将剩余数据消费出来进行处理。与传统Flink集群的Checkpoint机制相比,应用此机制可以使得处理时的图片故障率获得一定程度的下降,同时有效的提升了集群处理上限。为有效提升遥感图像与无人机遥感图像处理过程的效率,并防止海量图像在Flink集群分类处理时出现的数据倾斜问题,本文针对遥感图像海量数据加扩展后利用了 Flink中的KeyBy和Reduce机制对调用Orfeo Tool Box中的lib分类算法库函数进行了相应的优化处理,提出了基于Flink集群针对无人机遥感图像的分类优化方案。与传统分类处理方法相比,对海量遥感图像处理时,在保证了图像分类精度的基础上,不仅有效的提升了分类处理效率,还大幅缩短了分类处理过程所用时间,并进一步提升了系统的可扩展性能。最后,为验证以上机制策略与优化改进方案分类方法的有效性以及系统的并发能力,本课题利用上述机制与分类优化方案进一步设计并搭建完成了基于Hadoop与Flink的遥感图像与无人机遥感图像分布式快速分类处理系统,并通过搭建的系统环境进行相应测试,同时设计了多组对比实验。经实验验证,结果表明,在对海量遥感图像处理时,与传统分类处理方式相比,优化方案分类方法总体分类时间提升了约35%,处理过程故障率下降了 12%;而在海量无人机低空遥感图像处理时,与传统分类方式相比,总体分类时间提升了约17%,处理过程故障率下降了 15%。