基于分布式数据库HBase的负载均衡策略研究及实现

来源 :北京工业大学 | 被引量 : 1次 | 上传用户:jiu0703
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的快速发展,许多多媒体项目都需要大量的计算机数据存储和读取,而如此大量的数据若只是在单一计算机上,并且在一个规定的时间内进行处理,是根本不可能完成的。为了解决这些问题,满足网络技术发展的需求,便提出了分布式数据库。与此同时,在分布式数据库HBase的发展过程中,HBase的负载均衡问题也开始显现。在HBase分布式数据库环境中,由于分布式数据库节点性能上的差异以及已存储数据量不同和数据库访问请求数量不同,经常会出现各个节点负载非常不平衡的情况。所以,需要通过一定的负载均衡措施,来调节分布式数据库中的各个节点的负载达到几乎均匀分配的状态,提高分布式数据库的性能。负载均衡技术能够根据分布式数据库当前的工作状态,并通过节点的负载信息,将请求分配到负载量较少的节点上,并且,可以周期性的通过负载迁移来调节分布式集群中各个节点的负载,试图使得分布式数据库中所有节点的负载大致相等。本文在研究了分布式数据库HBase原负载均衡算法和一些负载均衡改进算法的基础上,提出了基于热点访问的负载均衡改进算法,提出的改进算法主要针对原算法中没有解决的热点访问负载问题。当一个分布式数据库出现了因为热点访问而引起的负载问题时,若是没有相应的措施来处理解决,会对分布式数据库造成很严重的影响。改进算法的目的也是在原算法的这个问题上进行改进,进而提高分布式数据库在面对热点访问负载问题时的性能和安全性。本文针对分布式数据库各节点性能不相同情况下的负载均衡问题进行了研究。在分布式数据库各个节点性能不相同的情况下,负载均衡会更加难以实现。因为负载均衡的策略是通过分析分布式数据库中各个节点的数据并进行分析计算来实现的,在节点性能不相同的情况下需要引入新的考虑因素来解决问题。本文的改进算法中引入了百分比这一因素来处理相关问题,从而提高分布式数据库在面对节点性能不相同情况下的负载均衡问题时的性能和安全性。本文的最后部分对本文提出的基于热点访问的负载均衡改进算法和节点性能不相同情况下的负载均衡改进算法,分别在搭建的环境中进行了实验验证,通过实验结果,证明了本文提出的基于热点访问的负载均衡改进算法和节点性能不相同情况下的负载均衡改进算法的有效性。
其他文献
跳频(Frequency-Hopping,FH)通信具有良好的抗干扰、抗多径以及易组网等特点,在军用和民用通信领域有着广泛的应用。随着通信技术的发展,跳频信号呈现带宽增大,跳速增高的变
研究目的:随着社会的发展,营养过剩、沉迷网络游戏与身体活动的减少等现象进一步威胁着小学生的体质健康。这一背景之下,王登峰司长提出要给中小学生布置家庭体育作业的建议
会议
目的:研究近红外光谱(near infrared spectroscopy,NIRS)监测下不同药物控制性降压对颅内动脉瘤夹闭术中脑氧饱和度(regional cerebral oxygen saturationr,rSO2)和术后认知功能及神经系统预后的影响。方法:选择行颅内动脉瘤夹闭术的患者108例,其中男50例,女58例,年龄30-74岁,ASA Ⅰ或Ⅱ级,Hunt-Hess分级0-Ⅱ级附;
硅微机械陀螺仪作为一种用于测量旋转速度或旋转角的MEMS惯性传感器,凭借其体积小、重量轻、成本低、可批量生产以及易于实现数字化和智能化等优点,在军事和民用领域得到广泛
随着互联网的发展,在线服务系统规模迅速扩大,然而摩尔定律逐渐失效,传统单体架构已无法满足日益增长的计算需求,分布式组件化架构逐渐成为行业主流。在线服务系统将单体程序
多租户是云计算的重要特征之一,通过在多个租户之间共享使用软硬件资源,从而有效降低基础设施的成本,实现规模经济效益。电子商务的快速发展使得实例密集型工作流调度问题日
近几年来,由于办学水平持续上升和招生规模的不断扩大,课程安排、专业设置不断向纵深和横向延伸,学校面临着各种教学资源紧缺的情况,要在学期结束前一个较短时间内排出一份合
二阶非线性光学(NLO)材料是实现激光频率转换的功能材料,可应用于激光通讯、激光武器、眼科手术、激光加工、激光存储等领域。但是,由于目前商业化的NLO晶体存在着二次谐波输出(SHG)效应不强、抗激光损伤阈值(LIDT)低,透光范围窄等缺点,无法满足激光技术的市场需求。含有硫族元素(S、Se、Te)的化合物往往具有较大的NLO系数、较宽的透光范围等优点;同时,在含有两种结构基元的化合物中,如果两种结
作为现代通信研究的一个重要领域,无线局域网(Wireless Local Area Networks,WLAN)凭借其方便快捷、高吞吐量等优势,已成为越来越多用户的首选上网接入方式。为标准向下兼容
基于传统寿命试验的液压泵可靠性评估方法时间长、费用高,无法满足快速可靠性评估的实际需求,基于性能退化的可靠性评估方法采集表征产品健康状态的性能特征随时间的变化数据