Green Scheduling:一种提高MapReduce能效的调度策略

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:din6688
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心的能效问题受到了越来越多人的关注,降低数据中心的能耗不仅直接关系到降低运营成本,还有助于减少温室气体的排放。MapReduce已经成为了数据中心主要的大规模数据处理框架,提高MapReduce的能效有助于降低数据中心的能耗。本文提出了Green Scheduling,一种提高MapReduce能效的调度策略。本文将MapReduce集群的生命周期划分为运行阶段和空闲阶段,Green Scheduling针对这两个阶段分别采用GreenFair Scheduler和Green Node Keeper两种方法来提高能效。这两个方法都是基于MapReduce集群节点的功耗特性:non-power proportional(消耗的电量和所完成的工作不成比例)。   对于运行时期,Green Fair Scheduler从调度的角度提高MapReduce的能效。本文比较了一个混合作业(一个计算密集型作业和一个IO密集型作业)在FIFO Scheduler和Fair Scheduler调度下的能耗,结果显示Fair Scheduler相对FIFO Scheduler能节约9%的能耗。节省的能耗是由于Fair Scheduler通过重叠计算密集型任务和IO密集型任务所取得的更好的资源利用率。然而重叠是偶然,因为Fair Scheduler没有作业资源使用情况的信息。这种重叠的偶然性让我们看到了Fair Scheduler能效提升的空间。本文提出了一种高能效的调度策略Green Fair Scheduler,稍微放松公平性以创造出尽可能多的机会重叠资源互补型任务。结果表明Green Fair Scheduler能节省Fair Scheduler7%-9%的能耗。   对于空闲时期,整个集群仍然消耗其峰值时的一半的功率。本文借助电源管理技术,实现了一种能耗管理机制Green Node Keeper来降低集群在空闲时的功耗。当在一段时间内检测到没有作业运行时,Master会将所有Slave节点进入到低功耗状态。当有作业提交时,Master唤醒这些节点执行任务。本文研究了Green Node Keeper影响MapReduce框架的两个因素:进入睡眠状态时间和唤醒时间。   本文对Green Scheduling的节能效果进行了实验验证。结果表明,Green Scheduling的两种方法能同时节省MapReduce集群45%的能耗。
其他文献
随着网络的普及和深入应用,万维网上汇聚了极其丰富的信息资源,人们不再满足于门户网站、搜索引擎这种主动信息获取方式,更期望以定制、即时的方式获取与自己兴趣相关的资源
随着以信息技术为代表的科学技术的迅猛发展,信息化手段在政府行政与管理工作中的地位变得越来越重要。运用先进的数据仓库和多维分析技术,整合政府应用等数据资源,对于提升政府
对于传统的发动机营销模式而言,发动机厂家的利润来自发动机、配件的销售,随着社会的发展,客户对售后服务的要求愈加多样化,对产品的维修、保养也提出更高的要求,同时当今市
在语义Web服务的相关研究工作中,以Web服务的组合、发现为目的,已经有大量的研究人员和研究机构对其进行了广泛的研究,其中包括:OWL-S;以工作流为基础的Web服务组合;扩展现有
国民的身体健康及体质状况是一个涉及到国家长治久安、兴旺发达的根本因素。然而本世纪以来,伴随着社会生活节奏的逐渐加快,以及物质生活的日渐丰富,传统生活模式和生活习惯已然
本文以提高合成孔径雷达(SAR)实时成像处理系统性能为目标,重点研究并实现了SAR成像处理算法中三个关键运算单元。   论文设计并实现了一种高性能定点FFT IP核。论文从DFT
近年来,由于材料和加工技术的限制,单核处理器的性能已经难以有所提高了,无法满足应用的需求。为了进一步提高处理器的性能,必须采用多核结构的处理器。多核处理器采用了并行计算
随着数据量的增加和数据存储操作性能需求的提高,传统基于DRAM+HDD存储架构的存储系统面临着严峻的挑战。由于HDD的I/O时延过高,HDD已经成为数据存储系统的性能瓶颈。相对于H
学位
EAST等离子体控制系统(PCS)继承于DIII-D的等离子体控制系统架构,以等磁通控制作为等离子体位形控制的主要方式,并且利用RT-EFIT程序作为位形控制过程中基本的平衡反演工具。由