随着大数据时代的到来,越来越多的人意识到数据的重要性,随之涌现出许多围绕数据进行分析和处理再应用的企业和研究机构,传统的数据处理方式已经不足以应对当前的海量数据。Hadoop作为一个高效的分布式计算平台,逐渐成为了处理大规模数据集的首选工具。Hadoop集群最重要的就是数据处理速度,而Hadoop的调度算法是影响集群数据处理速度的重要因素。因此Hadoop调度算法的改进与优化是目前一个比较热门的研究方向。由于数据量的不断增长,对Hadoop集群的计算性能的要求也越来越高,只有不断的向集群中增加新机器,以提高集群计算性能,这样不同配置的机器组成的集群被称为异构集群。Hadoop的默认调度算法都是基于同构集群,默认集群各节点之间性能相同。但是在异构集群中,节点的计算性能是存在差异的,如果依然使用默认的调度算法,可能会导致高性能节点空闲,低性能节点繁忙,不仅浪费了集群资源,更间接延长了作业的执行时间。针对上述问题,本文提出了一种异构环境下的基于节点分级的动态调度算法。为了能更好地利用集群高性能节点,该算法通过CPU、内存和磁盘的硬件参数将集群节点按照性能分为不同等级,并将分级结果作为任务调度的依据之一。同时,Hadoop默认的调度算法选择节点的原则是数据本地化优先,存在一定的随机性。为了能让集群高性能节点承担更多计算任务的同时不降低数据本地化任务比例,采用一种基于使用频率的数据块动态调整策略,根据一定时间内数据块的使用频率来调节数据块数量,并将数据块的放置顺序设置为从高性能节点至低性能节点。当进行任务调度时,通过心跳机制收集节点的实时负载值,综合考虑节点负载值,节点性能以及数据本地化三个因素来选择合适的节点来执行任务。通过搭建Hadoop异构集群将基于节点分级的动态调度算法和Hadoop默认调度算法进行对比实验。实验结果表明,本文提出的调度算法可以在保持数据本地化的同时提升高性能节点的利用率,不仅可以缩短作业的平均执行时间,更提高了Hadoop异构集群的可扩展性。