随着大数据应用需求的发展,分布式计算也越来越流行,诸如Spark、Storm、Dryad等多个并行计算框架应运而生。与MapReduce不同,Spark计算过程中将数据存放在内存中,减少了频繁的I/O读写,因此在处理迭代型作业时有更好的表现。作为类MapReduce的通用并行框架,Spark计算过程中也会包含Shuffle过程,该过程用于连接Map阶段和Reduce阶段。由于Shuffle过程会触发大量的网络和磁盘I/O,所以Shuffle过程直接影响到整个系统的计算效率。论文针对Spark Shuffle过程中存在的网络拥塞问题、异构集群下“木桶效应”问题,进行优化研究。具体完成了以下工作:1.为保持Stage的顺序性,Shuffle过程需要节点之间进行任务同步操作,目前的同步机制不仅会浪费集群的计算资源,更会产生严重的网络拥堵,最终降低集群计算性能。针对该问题,提出一种局部任务优先Shuffle策略,动态生成ShuffleWrite任务,并对部分已完成的任务提前执行Shuffle操作。该策略增加了数据计算与网络传输的并行度,降低了Shuffle阶段网络传输的峰值,使集群在执行作业过程中网络负载较为均衡。最后通过实验对比,结果证明本文局部任务优先Shuffle策略可以提升Shuffle执行效率。2.Spark无法感知集群异构性,Shuffle过程不能根据节点计算能力进行数据分配,针对该问题,通过分析Spark的作业机制,设计了节点计算性能评估模型,并通过监控模块对节点计算性能进行评估;在此基础上,进一步提出了自适应数据分区策略。该策略通过动态增加Bucket数量,减小Bucket粒度大小,并结合分区分配算法,使得Shuffle过程后Reducer端得到的Bucket数据与其计算能力相适应。实验及结果表明,提出的自适应分区策略在异构集群下可以降低低效节点的作业数据负载,减少作业执行时间。综上所述,针对Spark的Shuffle过程进行优化,可以缓解网络拥堵,适应集群异构性,提升Shuffle执行效率,减少作业执行时间,最终提升Spark计算框架的整体性能。