云计算环境中高能效资源分配方法的研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:gamebugs2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,云计算技术已经拥有了很高的成熟度。随着云基础设施的大量增加及云计算规模不断扩大,IT资源耗电量剧增,这极大阻碍了IT行业的发展。能耗已经成为制约云计算发展的重要因素。在这样的背景下,如何降低云计算能耗,提高云计算能效成为了研究的新难题。能效为单位能量完成的有效任务,对于同一任务,执行过程中消耗的能耗越少,能效越高。资源分配问题是高能效云计算领域的关键技术所在。但是目前大多数云计算作业调度算法的重心都放在作业调度上,而没有考虑资源分配与能耗。因此,在调度作业时,需要一个能效可感知的资源分配方法为作业分配合理的资源,进而提升集群的资源利用率与能效。本文提出了资源等待能耗和资源比的概念,并认为基于资源比的资源分配是平台软件层面提高能效的有效手段,该方法具有一定创新性。本文定义资源空闲时间消耗的能源为等待能耗,称等待能耗为0时,任务需要的资源量的比值为任务的最佳资源比,称为Map/Reduce任务分配运算和存储资源的过程为资源分配。首先,本文提出了任务的阶段模型,给出了通用的任务资源比模型。然后,基于MapReduce编程模型,本文研究了Map/Reduce任务对资源的占有特征,对Map/Reduce任务进行阶段划分和聚合,给出了Map/Reduce任务资源比模型。基于该模型,本文提出了一种高能效资源分配算法R2,主要包括任务调度和资源分配两个方面。最后,基于Hadoop集群环境,本文进行了一系列实验。首先,本文验证了最佳资源比的存在以及资源比和等待能耗的关系;接着,通过实验验证了Map/Reduce任务划分的合理性;然后通过实验数据对比验证R2算法能够明显减少资源等待能耗,提高节点资源利用率,进而优化Map/Reduce任务的能效。本文提出的资源比模型和资源分配方法可以应用于现有的MapReduce系统中,对高能效云计算中能效模型和优化有一定的理论意义和实际应用价值。
其他文献
因特网的出现给人类社会发展带来了前所未有的变革。目前WWW已经发展成为包含多种信息资源、站点遍布全球的巨大信息服务网络,成为世界上最丰富和最密集的信息来源。为使因特
本论文研究的主要内容为图像序列中多目标的跟踪技术。作为一个有着广泛应用背景的研究领域,图像序列的目标跟踪吸引了大批专家级的研究学者参与。尽管已经提出了不少算法,但真
Internet通过提供一种付费且效率较高的方法把公司同他们的业务伙伴联系起来而为商业发展带来了重大变革。Web服务是电子商务的一个新范例,它将改变商业应用原有的发展及相互
随着Internet 的发展和普及,电子邮件也得到了广泛的应用。电子邮件在给人们带来方便的同时也产生了一个新的问题,即大量垃圾邮件的出现。垃圾邮件不仅要消耗大量的网络资源,
随着汽车市场和汽车电子技术的飞速发展,车载信息娱乐系统的构建成为人们关注的焦点。HTML5技术能加快车载信息娱乐系统的构建,缩短研发周期,降低开发成本。而如何为HTML5车
消防的重点在于预防。高层大型建筑物由于结构复杂,人员疏散逃生困难,是火灾预防的重点之一。用三维立体的形式,表现高层建筑的结构、消防设施分布、疏散通道等,比以往的高层
粒子群优化算法(ParticleSwarmoptimization)是由Kennedy和Eberhart在1995年提出的一种基于群智能(SwarmIntelligence)的演化计算技术,是在鸟群、鱼群和人类社会行为规律的启
数字图像处理技术在近20多年的时间里,迅速发展成一门独立的具有强大生命力的学科。数字图像处理技术广泛应用于工业、军事、医学等领域,而且现在对能快速自动处理海量图像数据
计算机监控系统广泛应用于各个领域,由于无线监控系统有着无法替代的优势,这几年得到了蓬勃发展。然而目前无线监控系统软件开发过程中未形成系统的框架,存在大量的重复劳动,开发
本文对数据挖掘的元数据管理及可集成进行了研究。文章阐述了采用分层的元数据管理方法构建数据挖掘的元数据管理体系结构,包含元数据源层、元数据集成/管理层和元数据发布层