论文部分内容阅读
目前,云计算技术已经拥有了很高的成熟度。随着云基础设施的大量增加及云计算规模不断扩大,IT资源耗电量剧增,这极大阻碍了IT行业的发展。能耗已经成为制约云计算发展的重要因素。在这样的背景下,如何降低云计算能耗,提高云计算能效成为了研究的新难题。能效为单位能量完成的有效任务,对于同一任务,执行过程中消耗的能耗越少,能效越高。资源分配问题是高能效云计算领域的关键技术所在。但是目前大多数云计算作业调度算法的重心都放在作业调度上,而没有考虑资源分配与能耗。因此,在调度作业时,需要一个能效可感知的资源分配方法为作业分配合理的资源,进而提升集群的资源利用率与能效。本文提出了资源等待能耗和资源比的概念,并认为基于资源比的资源分配是平台软件层面提高能效的有效手段,该方法具有一定创新性。本文定义资源空闲时间消耗的能源为等待能耗,称等待能耗为0时,任务需要的资源量的比值为任务的最佳资源比,称为Map/Reduce任务分配运算和存储资源的过程为资源分配。首先,本文提出了任务的阶段模型,给出了通用的任务资源比模型。然后,基于MapReduce编程模型,本文研究了Map/Reduce任务对资源的占有特征,对Map/Reduce任务进行阶段划分和聚合,给出了Map/Reduce任务资源比模型。基于该模型,本文提出了一种高能效资源分配算法R2,主要包括任务调度和资源分配两个方面。最后,基于Hadoop集群环境,本文进行了一系列实验。首先,本文验证了最佳资源比的存在以及资源比和等待能耗的关系;接着,通过实验验证了Map/Reduce任务划分的合理性;然后通过实验数据对比验证R2算法能够明显减少资源等待能耗,提高节点资源利用率,进而优化Map/Reduce任务的能效。本文提出的资源比模型和资源分配方法可以应用于现有的MapReduce系统中,对高能效云计算中能效模型和优化有一定的理论意义和实际应用价值。