基于人工鱼群算法的Hadoop调度算法研究

来源 :北京林业大学 | 被引量 : 0次 | 上传用户:seryhugjkghj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是计算机时代的一个进步,其有效地整合了计算机的计算能力,并将计算能力商品化,按需付费使用。Hadoop“移动计算而非移动数据”的设计思想,很大程度上符合大规模数据处理的特点,深受各大互联网厂商的青睐,进而Hadoop成为云计算近几年主流的开源的实现平台。云计算是将众多普通计算机组成一个庞大的计算机集群,基于Hadoop的技术实现屏蔽了底层物理链接等繁琐问题,并容易构建高容错的系统集群。作业调度算法作为管理Hadoop资源和分配任务的中枢,其性能的优劣往往影响着整个集群的性能,尤其是在节点性能、网络带宽相差较大的异构环境下,这无疑给作业调度算法带来了很大的挑战。本文工作是对作业调度算法进行改进。首先,在探索现有作业调度算法工作原理的基础上,分析其存在的不足,进而寻求改进方法。然后,通过对群智能算法,尤其是人工鱼群算法的调研,分析并总结人工鱼群算法工作机理,归纳其在TSP组合优化问题上的应用,引入跳跃行为和吞食行为对算法本身进行改进。最后,将人工鱼群算法与作业调度算法进行结合,提出了基于改进人工鱼群算法的作业调度算法,该算法采用随机键的方式对待分配任务进行编码,以任务总时间为启发函数,并引入吞食行为和跳跃行为完成人工鱼群算法的改进,以达到进一步改善作业调度算法性能的目的。实验结果表明,改进后的作业调度算法有效地提高了系统性能,降低了运行时间。
其他文献
地理信息系统简称GIS(Geographical Information System)是一种决策支持系统,它具有信息系统的各种特点。地理信息系统与其他信息系统的主要区别在于其存储和处理的信息是经过地
随着通信业务的发展及通信网络规模的进一步扩大,新技术、新设备、新业务不断出现,运营商对电信设备制造厂商同时组网的产品均提出了统一网管的要求,即不同类型的产品能在同一个