并行计算框架Spark的自适应缓存管理策略

来源 :电子学报 | 被引量 : 0次 | 上传用户:tiger20091
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Direc
其他文献
中国语文教科书的近代化是指语文教科书为适应近代义务教育的普及和语文课程的发展而产生革新的历史过程.由文言文教科书转变为白话文教科书是语文教科书近代化的根本标志;内
如果你走在路上,突然有一个陌生人非常热情地与你打招呼,唠家常……他(她)会说是你爸爸(妈妈)的同事或是你的远房亲戚,这时候你该怎么办呢?是相信他还是躲避他?小心和谨慎是
目的:对MEK-6318K血细胞分析仪进行临床应用评价。方法:采用随机和不随机选择标本法,对仪器进行精密度,相关性测试。再对WBC、RBC、PCL进行结果测试。结果:各项参数测定的变异系数
为了降低我县牛羊寄生虫病感染强度、发病率、病死率,减少养殖场(户)的经济损失,促进漳县牛羊养殖行业健康可持续发展,我们开展了羊寄生虫调查,通过对12个调查点374只羊的调
目的:分析尿道下裂危险因素。方法:采用回顾性研究方法,对86例小儿尿道下裂的相关因素进行多因素非条件Logistic回归分析。结果:危险因素按OR值排序,依次为先兆流产、杀虫荆、雌激
目的研究沙格列汀联合阿卡波糖对初诊2型糖尿病(T2DM)的效果。方法使用随机数表法将2017年2月至2018年2月郸城县人民医院内分泌科收治的72例初诊的T2DM患者分为对照组和治疗
随着电网的愈加复杂,电网调度的工作也越来越凸现出了其重要性,特别是电网调度的工作人员,他们在电网的正常维护中起着关键的作用。本文从电网调度的基本概况出发,阐述了如何
本文就钢筋混凝土楼板常出现的几种裂缝的形成原因以及防治措施作一初步的探讨,供工程技术人员参考交流。
纵观中国历史,从大禹治水不辞辛苦三过家门而不入、唐狄仁杰奉公守法、宋寇准罢宴由奢入俭、宋慈破除迷信用科学的办法检查人的死因、明戚继光抗倭成功、清林则徐虎门销烟…
文章主要阐述了液压机床主轴电机的电器控制改造。