基于 MapReduce 工作流优化器的研究

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:sznc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对MapReduce工作流的优化主要是通过对MapReduce栈的优化实现的。针对MapReduce工作流的优化问题,首先,提出相关概念;其次,介绍MapReduce工作流基于成本的优化过程;然后,通过实例阐述MapReduce工作流中的数据流依赖和资源依赖关系。基于此,提出3种MapReduce工作流优化器,并对其进行端对端的评估。最后,通过实验评估工作流优化器的优化开销并对比分析了这3种工作流优化器。
其他文献
针对基于响应时间的Web服务组合,提出一种迭代加深的A*算法(IDA*算法)对服务节点进行搜索筛选。在利用节点数量的要求设计出服务节点限制判断条件的基础上,将该IDA*算法进行具体实现。实验结果表明,与图规划搜索算法相比,该IDA*算法在所需目标节点数较少的范围内比图规划搜索效率高。还进一步将IDA*改进为基于top-k的算法,并进行分析比较。
任务调度是云计算的关键技术之一,其主要目标是能更有效地满足系统资源和任务的公平性,同时尽可能实现系统资源的负载均衡。结合遗传算法的优点,提出一种公平均衡遗传调度算法FBGSA(Fair Balanced Genetic Scheduling Algorithm)。该算法充分考虑到任务调度过程中资源和任务的公平性问题,以及资源的负载均衡等因素。实验结果显示该算法不仅可以有效减少任务总完成时间,而且可
在金属工件的生产过程中,不可避免地会生产出一些不良品,必须进行快速识别。缺陷检测系统需使用图像采集设备采集金属工件的表面图像,完成混合噪声滤除等预处理后,进行图像配准并使用差影法分割图像,然后标记缺陷和提取缺陷纹理特征,最后进行工件缺陷的分类和识别。为了提高金属工件表面检测系统的检测速度,以满足高速生产流水线对检测系统的高实时性要求,依托GPU平台设计了一套合理的并行算法来完成不合格工件的自动检出