【摘 要】
:
“云计算”这个词可谓是如今热门中的热门,不仅国内外各个IT巨头已经部署云计算,很多传统企业也纷纷转型云计算。一般提到云计算就会想到Hadoop,Hadoop是最典型的云计算平台
论文部分内容阅读
“云计算”这个词可谓是如今热门中的热门,不仅国内外各个IT巨头已经部署云计算,很多传统企业也纷纷转型云计算。一般提到云计算就会想到Hadoop,Hadoop是最典型的云计算平台之一。它是一个能够对大量数据进行分布式处理的软件框架,它的作业执行速度对于整个平台的效率具有很大的影响。所以,Hadoop的调度算法是本文研究的重点。本文首先分析了云计算的发展现状以及Hadoop整个平台的构成。然后,重点分析了 Hadoop自带的三种算法以及根据智能算法(蚁群算法)而改进的Hadoop作业调度算法。之后,对人工鱼群算法以及LATE(Longest Approximate Time to End)算法进行了研究。分析总结了人工鱼群算法和LATE算法的工作原理以及应用场景,并根据人工鱼群算法在TSP(旅行商问题)组合优化问题上的成功应用以及LATE算法根据作业剩余时间选择备份任务的特点,将人工鱼群算法和LATE算法与作业调度算法进行结合。最终,提出了基于人工鱼群算法的改进的Hadoop作业调度算法。该算法通过人工鱼群算法分配任务,从而实现任务与资源的合理配对;利用改进型的LATE算法提高备份任务的精度,并将备份任务分配给最优的节点执行,从而达到节约系统资源,提高利用率的目的。最后,搭建Hadoop小型集群实验平台,对改进的算法与Hadoop自带的三种算法进行实验对比并分析实验结果。验证了改进的调度算法在异构环境下执行作业效果最佳,可以有效地缩短作业执行的总体时间,提高平台的整体性能。
其他文献
当今大数据时代,传统硬盘在进一步提高存储密度的过程中,面临严重的超顺磁效应的制约,而存储单元分立的图案化磁记录介质有望取代传统连续磁记录介质,进一步提高存储密度。但
玉米产量作为复杂数量性状,受多个微效等位基因和环境因子的共同作用。鉴定产量性状相关QTL,对于解析玉米产量相关性状变异的遗传基础,促进分子设计育种具有重要的理论和实际意义。本研究以黄早四为共同亲本1作父本,分别与母本Mo17和齐319组配,构建了含有155个、161个F2:3家系(HM和HQ)的双亲分离群体。通过对不同家系进行表型考察,结合高密度SNP标记的基因型鉴定结果,利用Ici Mappin
砷是一种常见的类金属剧毒元素,常用作除草剂和杀虫剂。对氨基苯砷酸是苯胺和砷酸反应合成的有机砷,毒性小于无机砷,常用于畜禽饲料添加剂。但是在禽畜饲料添加剂中,对氨基苯
组合测试是一种黑盒抽样技术,它采用组合的思想精简测试用例集规模,并且能够解决组合爆炸问题。经验数据表明,二维覆盖组合测试能覆盖软件中50%-97%的缺陷,具有非常高的实用
随着现代技术的飞速进步,人们对于视频媒体的需求越来越多,带来所需存储和传输数据量巨大的问题。压缩感知理论可以突破奈奎斯特频率的限制,允许以小于2倍奈奎斯特频率采样而
目的:观察五味子乙素(Schisandrin B,Sch B)对慢性酒精中毒大鼠学习记忆障碍的影响,探讨五味子乙素改善慢性酒精中毒大鼠学习记忆障碍的可能作用机制,为慢性酒精中毒导致学习记忆障碍的防治提供理论和实验依据。方法:(1)65只成年清洁级Wistar雄性大鼠,随机选取13只每天灌胃蒸馏水,作为空白对照组。另外52只大鼠每日以56°北京红星二锅头白酒灌胃,连续8w,建立慢性酒精中毒动物模型,
随着传统燃油汽车的发展和普及,车辆的尾气排放给环境带来越来越大的压力,同时还面临着石油资源枯竭的问题。为了应对环境保护和资源紧缺的问题,各个国家都在积极推动和引导新能源汽车的研发和生产,纯电动汽车因其具有系统集成度低、环境友好、节约能源、使用成本低等优点愈加受到用户和车企的青睐。作为未来汽车工业的发展方向,纯电动汽车的动力主要依靠锂离子动力电池提供,锂离子电池较铅酸蓄电池具有工作电压高、能量密度高
较高铬、镉含量样品中铬、镉同位素的分析已经不再是难题,而低铬(Cr)、镉(Cd)样品(100ng/g)的测试因其基质复杂、类型多样,使高精度的同位素分析面临诸多挑战。根据本课题组
研究背景和目的代谢综合征(metabolic syndrome,MetS)是一种以中心性肥胖、高血糖、高血脂、高血压为主要表现的临床症候群。Sirt1基因通过发挥去乙酰化作用介导多条糖脂代谢
青化砭战役是我军在陕北根据地实施的著名战役。以青化砭战役我军战损情况为研究对象,依据军事运筹的基本理论和方法,运用Lanchester方程对该战役战损值进行了定量预估,并与