大数据系统性能分析工具的设计与实现

被引量 : 3次 | 上传用户:udbjqr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动设备的普及、传感器技术的发展以及社会网络的扩大,当今的数据规模已经达到一个空前的水平,“大数据”时代已经来临。然而,由于大数据的海量性、多样性等特征,使得关系数据库在管理大数据时往往受到扩展性和成本的限制。云计算提供了一种高扩展性和高性价比的管理大数据的平台,因此越来越多的大数据系统被转移到云计算平台上,例如Hadoop、Dryad、Pig、Hive等,其中Hadoop的应用尤为广泛。这些系统将用户从繁琐的分布式计算、协调同步等细节问题中解放出来,用户只需关注数据处理的逻辑和流程。虽然这些技术给用户带来了方便,但也使得用户无法了解系统底层的运行过程,因此无法有效的对系统性能进行调优,从而需要开发出一套基于大数据系统的自动化性能分析工具。本文论述了作者开发的大数据系统性能分析工具的设计与实现。该大数据系统性能分析工具采用Python和Java语言实现,整个系统可分为三个模块:PROFILER模块、OPTIMIZER模块、WHAT-IF ENGINE模块。其中,PROFILER模块通过调用BTrace工具,以事件驱动的方式实现了系统性能指标的抓取;WHAT-IF ENGINE模块通过建立起的一套数学模型,实现了根据变更后的配置参数,对Hadoop的性能进行预测;OPTIMIZER模块利用递归随机搜索算法和调用WHAT-IF ENGINE模块实现了对Hadoop平台主要性能指标参数的自动优化。作者独立完成了PROFILER模块和OPTIMIZER模块的设计与实现、WHAT-IF ENGINE模块的实现。参与完成了WHAT-IF ENGINE模块数学模型的建立以及该性能分析工具的功能测试。最后,论文描述了作者设计的部分测试用例,并展示了系统的运行结果。目前,该工具软件已完成开发和测试,测试结果证明该工具软件达到了预期目标。
其他文献
实事求是地对待历史遗留问题———“郑加银诉郑爱琴房屋确权纠纷案”研讨综述●丁以升胡琴“郑加银诉郑爱琴房屋确权纠纷案”(本案案情参见《讼屋到底应判给谁———对一起房
本文对传统的电池内阻测量方法进行了研究比较,提出了用锁相放大器测量电池内阻的新方法,详细阐述了锁相放大器的基本结构与工作原理以及用锁相放大器实现电池内阻测量的实际
超临界流体是一种特殊的流体,具有特殊的物理性质。近年来,在各个研究领域被人们所重视。本文就超临界流体和聚合物流变学做了简要的概述,并以热固性树脂E-51型环氧树脂和热
"芳香疗法"——植物芳香精油的推广与应用,虽然在国内近三四年已陆续引入,但尚未遍及。其实它不是时尚,也不是流行,而是一种趋势。由于它适用范围广泛,对人体又有养生保健、
近30年来,党和国家十分重视热电联产的建设与发展,国家新制定的相关法规中,都明确强调积极发展热电联产,经过50多年来的发展,逐步形成了中国特色的热电联产模式,但是热电体系
装配线概念自1913年福特汽车提出,经过近一个世纪的发展与创新,装配生产线在现代制造业中已经成为最为普遍的制造系统,而装配线品质的好坏直接影响到企业的生产效率。装配线
早在上世纪六十年代,“非虚构”文学就在美国掀起了写作高潮,但在中国,这个词是2010年在《人民文学》的倡导之下才开始引起文坛内外的广泛关注的。从2010年2月开始,《人民文学》
风力发电与传统火力发电的机理不同,故障后风机电磁暂态特性发生较大变化。双馈风电的接入,使得电网结构愈加复杂,可靠性与安全性难以得到有效的保障。因此,本文通过对电网对
在运动训练过程中,教练员检测运动员运动强度和生理负荷的主要手段是通过运动员心率的测量来进行。随着技术的进步,目前越来越多的运动项目纷纷将其作为辅助训练的的手段。但是
戏剧是一门集文学、舞蹈、音乐、绘画、造型等多种艺术形式于一身的综合艺术。古今中外优秀的戏剧作品蕴涵着丰富的思想与文化,其独特的艺术魅力有益于学生综合素质的培养。但