适应节能与异构环境的MapReduce数据布局策略

来源 :中山大学学报:自然科学版 | 被引量 : 0次 | 上传用户:bjbs222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据处理过程中产生的高能耗问题亟待解决,尤其是在数据量规模剧增的背景下。在对已有数据布局策略存在问题分析的基础上,分析了与基于存储区域划分的节能模式及与异构HDFS集群的不适应、数据块切分算法不灵活、存储节点选择的随机性等几个方面的问题,继而提出面向节能的MapReduce数据布局策略。首先,新策略适应将集群划分为不同存储区域(Active-Zone与Sleep-Zone)的节能模式;其次,新策略对传统的数据块数计算方法进行了改进,提出作业截止时间约束下的最小任务数计算方法确定数据块数量;最后,新的存储
其他文献
目的通过检测正常儿童与川崎病患儿急性期及恢复期血清中可溶性内皮生长因子(sVEGF)和转化生长因子β1(TGF-β1)的水平变化,了解其在川崎病中发挥的病理生理作用并有助于早期防治
在生产实际中,由于地质条件的复杂性,巷道随时穿越煤层和地质破碎带,研究托煤顶和控制松散岩层的支护技术,保证施工人员的安全、巷道的工程质量、工程施工的速度的很有必要,新庄煤
针对裴沟煤矿综放工作面的实际情况,介绍了综放工作面支架拆除技术.通过方案论证及支架在多种状态下的力学分析,论证其技术的可行性;并详细介绍了起吊装置的结构、技术参数及