大数据云存储中数据容错技术研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:mingming7978
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代数据信息爆炸式增长,用户对存储资源的需求也随之不断增长,可是原有的单机磁盘存储能力远远落后于用户对数据存储的要求。为此云存储的概念油然而生,它是云计算的一部分。云存储的出现引领了一场存储行业的技术变革,大大满足了用户对海量、稳定、低价和安全的需求。云存储在集群应用、网络技术、分布式存储等技术的支持下,通过网络和软件把各种存储设备集结在一起,互相协作为用户提供存储和访问服务。但随着存储规模的不断加大,硬件故障、操作失误、断电、火灾等人为或非人为原因导致存储节点故障的几率也不断上升,而故障带来的损失是巨大的。因此云存储系统容错机制是数据可靠性的必要前提,引起学者们的广泛关注。纠删码技术是一种相对可靠的冗余容错方案,已经成为云存储系统中一种高可靠性和高容错性的容错机制。2000年,Ahlswede等提出了网络编码的概念。Dimakis在网络编码的基础上结合图论中的max flow-min cut理论分析节点修复信息流图得到节点修复的理论下界,并运用归纳法证明该结论。在分析存储-带宽权衡曲线中,根据最优化存储效率和最小化修复带宽分析得到MSR再生码(最小存储再生码)和MBR再生码(最小带宽再生码),但尚未提出明确的编码形式。本文介绍现有云存储系统中的RAID数组编码、RS码以及阵列码等传统纠删码技术。综合分析这些编码,结合存储需求,讨论编码的利弊。在这基础上做了如下工作:1)基于MSR再生码,引入干扰对齐技术,提出一种精确修复的VMSR码。从理论证明基于干扰对齐的VMSR再生码是一种具有MDS(最大距离可分)性质的编码。同时,通过(6,3,5)VMSR码实例验证VMSR码的可行性与MDS性。比较分析VMSR码与RS码的修复带宽、修复连接节点数等指标,发现VMSR码表现出更好的性能。2)在MBR再生码点,提出一种有具体编码结构的S-M(SymmetricMatrix)MBR再生码。它将源数据通过[Cn2,B]-MDS码编码后按照对称矩阵的特殊结构存放。选取d=n-1,S-MMBR再生码可以达到MBR再生码修复带宽的最优下界。在修复过程中只需要传输数据,不需要任何计算操作,这样进行精确修复的S-MMBR再生码大大减少失效节点重建过程的计算复杂度。结合实例叙述S-MMBR再生码的实现过程,运用理论证明可行性。
其他文献
对诸葛菜减数分裂的研究表明,染色体在终变期表现出30多种配对构型。其中主要的9种为:12Ⅱ,10Ⅱ+1Ⅳ,8Ⅱ+2Ⅳ,9Ⅱ+1Ⅳ,6Ⅱ+2Ⅵ,8Ⅱ+1Ⅶ,6Ⅱ+1Ⅵ+1Ⅶ,7Ⅱ+1Ⅹ,5Ⅱ+1Ⅳ+1Ⅹ。121Ⅱ的构型与其它构型
目的分析结核分枝杆菌的耐药性,评价安徽省2007~2008年结核分枝杆菌的耐药状况。方法采用绝对浓度法对安徽省肺科医院住院病人599株结核分枝杆菌进行4种一线抗结核药物(INH、S
<正>0062 脱发性疾病病理活检及切片技术方法学研究进展杜旭峰(南京医科大学附属无锡市人民医院皮肤科),许文嵘,李中明…//临床皮肤科杂志.-2015,44(11).-750~755对于脱发性
目的探讨类风湿关节炎(RA)患者外周血Th17和Treg细胞比例变化及与疾病状态的关系。方法用流式细胞术检测50例RA患者(包括活动期26例和非活动期24例)和30例健康对照组外周血Th
热处理是大量耗能的加工过程,节能是每个热处理工作者的重要任务。缩短淬火加热时间是节能的有效方法之一。而热处理加热时间的确定是个比较复杂的问题,而且是一个不大受重视
在中药不良反应中,过敏反应十分常见。本文统计了中药过敏反应所占比例,发生过敏反应的中药品种,并分析了产生过敏反应的原因。