MapReduce的性能分析与优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dalang003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的兴起与日益激增的数据处理需求,云计算以其低廉的成本,强大的运算存储能力与高可靠性等众多优良特性逐渐受到各大IT企业的重视。MapReduce是云架构的编程模型,用以在集群上分布式地执行用户提交的作业,其作业调度与执行性能成为使用者关注的重点。本文对Hadoop平台MapReduce编程模型的多个优化方向进行了细致地研究。在对目前国内外关于MapReduce编程模型的性能优化技术进行分析的基础上,首先给出了多用户组使用环境下,支持作业类型划分的多队列调度策略。调度器通过划分作业等待队列和作业执行队列的方式,实现了二级调度;通过多个作业队列的方式管理多个用户组;作业队列的计算资源允许在闲置时被其它作业队列占用,以避免资源浪费;被占用的资源可以在作业队列需要时被回收,回收过程支持任务抢占,并通过“共享队列列表”和“非共享队列列表”的逻辑划分防止乒乓效应的产生。调度器同时支持作业类型进行调度,根据节点的负载情况,灵活地分配不同类型的作业以提高节点的硬件利用率,加快作业的响应速度。本文研究了提升Reduce任务网络性能的优化方法。通过在Map任务所在的节点合并输出文件,使得输出数据更紧凑,减少了本地临时文件的文件数,从而增大了单个输出文件的大小。在Reduce任务的输入数据本地化过程中,通过长连接从Map任务所在的节点获取输出文件,减小了网络连接数,并提高了网络I/O的性能。本文提出了对MapReduce编程模型进行性能分析的方法和分析指标。通过作业生命周期,任务的吞吐量,和模型中关键函数的运行情况来衡量编程模型的性能。最后就本文研究的优化技术进行了实现和测试分析。
其他文献
为了使LTE系统能够向4G平滑演进,3GPP组织在2008年6月发布了LTE-Advanced系统的技术需求报告,明确了LTE-Advanced系统的最低需求:下行峰值速率为1Gbps,上行峰值速率为500Mbps,而上
近年来,基于内容的图像信息检索技术正逐渐成为研究的热点,而与此同时,作为非接触式的、友好的身份认证技术,人脸识别、检索方面相关的应用需求也越来越多。本文以人脸作为目标对
海面目标检测因受到海杂波的影响,传统目标检测方法易产生高虚警问题,如何有效抑制非平稳的、相关性强的海杂波,提高海面目标的检测能力,一直是雷达检测领域的难点问题。在高
现代信息技术的迅猛发展,使得人们对信息需求量越来越大,而传统的信号压缩和重建遵循香农-耐奎斯特采样定律,即采样率必须至少为信号最高频率的两倍,才能保证在重建时不产生
由于人们收集的个人数据呈指数速度增长,图像和视频的数据量也随之增加。相比于文本的方式,现在人们广泛采用文本附带图像或视频的方式记录生活。但是,由于图像或视频数据量较大,在各种社交软件上上传图像与视频时,人们无法快速准确地寻找到感兴趣的图像或视频片段。针对上述需求,本文提出了一种基于视频描述模型的跨模态视频日记检索方法,通过分析视频内容自动生成自然语言描述,实现了视频与文本的跨模态转换,帮助人们在庞
学位
近几年,随着云计算和物联网等技术迅速发展,结合我国制造业目前存在的高能低效,利用工业资源不合理等问题,将这些前沿的信息理论运用在制造业中,提出了云制造(Cloud Manufact
被动雷达是使用空间环境中已有的军用或民用设备发射的信号而自身不发射信号的雷达系统。被动雷达系统通常由监督通道和参考通道两部分构成,监督通道用来接收目标反射信号,参
近年来,随着软实时技术的快速发展,以多媒体为主导的便携式设备,如:智能手机、平板电脑、itouch等,在人们的生活中越来越变得重要。而各种新功能的需求以及芯片的发展,对以电
近年来,嵌入式视频监控的广泛普及对社会各行各业的安全防范起到了不可或缺的作用。随着对监控需求的增加,有线嵌入式监控系统布控范围受到局限,不能满足特殊监控场合的弊病