分布式异构元数据存储系统负载均衡的研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:w123youlin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了支持海量数据的存储需求,随着存储系统容量的提升,元数据作为描述数据特性和存储位置的结构化信息,其存储需求也急剧增加。分布式存储系统的设计趋势是明确划分出元数据服务器与数据服务器两种角色,对元数据与数据分别进行存储,并使用多台元数据服务器组成元数据服务器集合。   本文研究目标是通过分析分布式存储元数据架构需要满足的关键特性,为分布式异构元数据存储系统设计一个基于虚拟节点的负载均衡元数据存储协议,该协议由三个部分组成,即:(1)按权重分配虚拟节点映射子协议,用于实现元数据在异构服务器集合中,按服务器存储容量均衡放置。在元数据服务器个数发生变化时,可以保证发生迁移的元数据数量达到最小;(2)虚拟节点重定向子协议,当系统中元数据存在局部性的访问热点时,不同的元数据服务器上的请求负载轻重不同。该协议将重载服务器上的元数据有针对性的迁移到轻载服务器上,实现元数据服务器的请求负载均衡;(3)虚拟节点交叉复制子协议,用于应对系统发生节点失效的情况,描述了元数据副本创建、副本迁移和失效恢复各个过程,保证系统可以在节点失效状态下进行元数据的恢复,保证系统的高可靠性。该负载均衡元数据存储协议,在系统正常工作时保证存储和请求负载均衡,并允许系统服务器数量动态变化,在系统发生异常时,进行元数据恢复,保证系统对外无间断提供服务。   论文进一步通过理论分析,证明了按权重分配虚拟节点映射子协议能够保证存储负载均衡,并且最小化元数据迁移的数量。   论文运用负载均衡元数据存储协议,设计并实现了分布式存储元数据的文件存储系统。对该系统进行功能和性能测试,分析了测试结果以及关键参数对性能的影响。  
其他文献
大幅面扫描仪的市场前景广阔,主要应用在工程图纸输入及处理、地理信息系统、艺术品复制以及制版行业。目前行业用户对大幅面扫描仪图像精度和扫描速度的要求不断提高,使得新一
边框纹样是我们身边最常见的纹样之一,早在中国历代传统图案纹样中就已出现,这些纹样被人们广泛应用于日用器皿、青铜器、礼器、雕刻品、漆器等工艺美术作品中,既有实用价值
随着信息化的发展,业务流程软件越来越受到企业的重视。企业使用流程的原因,一、可以协同各个岗位的工作,并能监控业务流程;二是协助多任务、多角色、多协作应用系统的开发。但在
网络是当代信息社会的重要基础设施,也是一个具有相当复杂性的系统。对网络的运行的管理,无论从社会、商业和技术的角度来看都愈益重要和迫切。网络测试是对网络进行监控、管理
Hadoop分布式文件系统(HDFS)是一个被广泛应用的分布式文件系统,它基于传统TCP/IP网络,由于传统网络的局限性,HDFS只能掌握节点的运行状况,比如节点的磁盘I/O,CPU和内存资源信息以及
自互联网诞生以来,尤其是最近几年移动互联网、物联网和云计算的发展,催生了网络数据的指数级增长。这给存储系统造成了极大的压力。为保证数据的可靠性,存储系统通常采用多
随着应用不断深入,在社交网络服务、科学计算仿真等场景中,图数据持续、大量产生,对其进行快速、有效分析具有十分重要的意义。在某些对精确度要求不是很高或者只要求反映部
学位
“网构软件”是一种流行的网络资源整合模式,它由分布式的、具有主体化特征的软件实体组成,能够感知环境并通过动态演化来适应外部环境的变化。SOA是软件架构技术发展史上的
近几年,随着网络规模的不断扩大,网络中海量的资源给传统网络应用带来新的挑战。基于网络资源(包括CPU处理、存储、服务等)的不断增多,其组织、获取、分析、处理等操作也逐渐