论文部分内容阅读
云计算是计算机时代的一个进步,其有效地整合了计算机的计算能力,并将计算能力商品化,按需付费使用。Hadoop“移动计算而非移动数据”的设计思想,很大程度上符合大规模数据处理的特点,深受各大互联网厂商的青睐,进而Hadoop成为云计算近几年主流的开源的实现平台。云计算是将众多普通计算机组成一个庞大的计算机集群,基于Hadoop的技术实现屏蔽了底层物理链接等繁琐问题,并容易构建高容错的系统集群。作业调度算法作为管理Hadoop资源和分配任务的中枢,其性能的优劣往往影响着整个集群的性能,尤其是在节点性能、网络带宽相差较大的异构环境下,这无疑给作业调度算法带来了很大的挑战。本文工作是对作业调度算法进行改进。首先,在探索现有作业调度算法工作原理的基础上,分析其存在的不足,进而寻求改进方法。然后,通过对群智能算法,尤其是人工鱼群算法的调研,分析并总结人工鱼群算法工作机理,归纳其在TSP组合优化问题上的应用,引入跳跃行为和吞食行为对算法本身进行改进。最后,将人工鱼群算法与作业调度算法进行结合,提出了基于改进人工鱼群算法的作业调度算法,该算法采用随机键的方式对待分配任务进行编码,以任务总时间为启发函数,并引入吞食行为和跳跃行为完成人工鱼群算法的改进,以达到进一步改善作业调度算法性能的目的。实验结果表明,改进后的作业调度算法有效地提高了系统性能,降低了运行时间。