随着大数据时代的到来,信息数据急剧膨胀,Hadoop和Spark大数据分析平台提供了一种分而治之的解决方案来处理大量的实时数据。然而,这种用于实时数据处理的方案的关键问题之一是数据倾斜,这一问题对Hadoop和Spark大数据分析平台的性能造成了严重影响。目前解决数据倾斜问题大部分都是基于Hadoop平台的研究,而对于Spark的数据倾斜问题研究相对较少。在Spark中,当数据分布不均匀时,默认的Spark分区算法在执行Shuffle操作后就会出现数据倾斜现象,而现有的解决数据倾斜问题的方法是将重载的任务分布到额外拆分或者合并的分区上,然而这些额外的操作反过来又阻碍了系统的性能。因此,本文以Spark中的数据倾斜问题为研究对象,重点研究如何通过分区负载均衡来减少应用程序的总完工时间,提出一种基于改进蓄水池抽样算法的负载均衡机制和一种基于线性回归分区预测的负载均衡机制。本文主要工作如下:(1)为解决Spark计算框架下的数据倾斜问题,提出了一种基于改进蓄水池抽样算法的负载均衡机制:SP-IRS(Spark load balancing mechanism based on Improved Reservoir Sampling algorithm)。与现存的机制相比,该算法在传统蓄水池抽样算法中增加了一个变量,通过其权重用来预测Reduce分区大小。为了充分利用集群资源,利用数据倾斜检测模型将数据分类为倾斜数据和非倾斜数据,根据预测生成的矩阵,将倾斜数据均衡分配到各个分区中去。该机制能够使Spark负载更均衡。(2)为进一步优化应用程序总完工时间,提出了一种基于线性回归分区预测的负载均衡机制:SP-LRP(Spark load balancing mechanism based on Linear Regression Partition)。该机制利用线性回归预测算法创建Reduce分区预测模型,在该机制中,与现存机制相比,没有额外抽样操作,因此能够减少整个应用程序完成时间。具体框架为,首先分区跟踪器利用心跳机制将分析操作信息进行统计;其次操作统计信息被发送到分区大小预测器,该预测器基于线性回归算法创建预测模型;预测分区大小(每个分区)后,使用数据倾斜检测模型识别倾斜分区;最后资源分配器基于识别的正常分区大小创建资源需求。