一种基于纠删码的分布式备份技术的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:txmotor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术和信息技术的不断发展,存储系统中的数据量不断增长并呈海量形式发展。传统的依赖本地服务器的存储已经无法满足日益增长的存储需求,因此大规模的基于分布式存储的数据中心正在迅速增长。分布式存储系统中,为了保障数据的可用性,容灾备份是关键问题之一,这需要使用容错策略来实现系统的高可靠性,特别是存在大量的冷数据的分布式存储系统中,冷数据的备份方式需要特别考虑。针对上述问题,在介绍备份容错策略的基础上,对分布式系统的编码备份技术进行了分析和研究,并提出了一种基于编码的分布式备份方案。通过对现有编码技术的研究,提出了一种基于纠删码的,适用于含大量冷数据分布式系统的一种备份架构。这种架构在保障数据可靠性的同时,能够提高系统的存储利用率,提高系统的负载均衡性,缩短节点失效时的修复时间,增加系统灵活性。在系统设计上,为了使系统的负载更为均衡,将存储节点中的物理节点根据需求分为多个虚拟节点并且排序后均匀分布在圆环结构中,虚拟节点存储用户数据。同时,根据用户需求设计不同的备份服务器,选择存储组,存储组由多个不在同一物理节点的虚拟节点构成,备份服务器中的数据经过分割,纠删码编码后,分散存储到存储组内的虚拟节点上,不同的用户需求可以选择不同的纠删码。处理失效时,数据块通过解码的方式恢复来保证其可靠性,物理节点通过多存储组的并行恢复在保证可靠性的同时,缩短恢复时间。基于设计的模型,对基于纠删码的分布式备份方案进行了仿真测试,通过节点选取和数据修复的测试,验证了编码备份方案能保证数据的可靠性,相较于三副本方案,存储利用率提高36%,较非并行的编码方案,修复时间更短。在测试过程中主要采用了CRS和RS码两种纠删码进行测试,测试表明CRS码的编解码效率比RS码更好,恢复能达到高效率。
其他文献
云计算技术虽然是一种新兴技术,但一经提出就得到迅速发展,凭借自身的优势得到了越来越多国家企业和研究机构的关注,很多研究人员投入到云计算相关技术的研究中伴随着云计算研究
Web系统通常部署于开放的互联网环境,用户输入的随意性对系统的安全验证机制提出了更高的要求。因此检测程序中是否存在有效的安全验证机制成为软件测试领域的重要研究内容。
随着图数据规模的不断增长和属性因素的不断增加,路径查询技术面临如何解决属性自身的繁杂性、属性之间关系的复杂性以及图数据的大规模等问题。这些问题导致现有很多路径查询
随着多媒体和网络的飞速发展,数字视频的数量急剧增加。怎样通过计算机对这些大量的视频进行自动理解,提取出其语义信息,从而方便用户进行高效率的查询和检索,是当前急需解决的问
大数据时代存储系统在众多实际应用中扮演越来越重要的角色,其读写性能的好坏直接影响上层应用的性能。目前,分布式文件系统都是利用扩展性支持不断攀升的性能需求,但规模扩大易
随着计算机网络的发展,计算环境中层出不穷的安全威胁使信息安全成为一个迫切需要解决的问题,可信计算使从根本上解决计算安全问题成为可能。TCG(Trusted Computing Group)规范指
软件即服务(SaaS, Software as a Service)和云计算的一种重要思想就将各种资源服务化,单实例多租户技术是其中的一项重要技术,它通过整合资源来为成百上千的不同租户提供服
由于交流感应电机调速控制技术的快速发展及其自身优点,交流感应电动机调速驱动系统已经广泛应用于各个领域,因此进一步完善和提高感应电机变频调速性能、降低系统复杂程度等具有非常广泛的实际应用价值。随着电力电子技术、微电子技术和现代数字控制理论的不断发展,通过高性能微处理器和先进软件算法实现高性能的磁场矢量控制算法,可使普通交流感应电机的控制性能接近直流电机调速系统。本文针对交流感应电动机矢量控制算法展开
真实对象的三维重建,是计算机虚拟现实领域重要的研究内容之一,其中三维形状重建和三维纹理重建是真实对象三维重建中的两大核心内容。三维扫描、模型配准、模型匹配等技术的
在资源日益紧缺、人力成本、空间使用成本日益攀升的今天,虚拟化已逐步迎来全面的复兴,并在当前数据中心中得到了广泛地使用。虚拟机平台,将服务器的资源通过抽象和虚拟化进行整