论文部分内容阅读
纠删码技术来自于信道传输编码技术,早期主要用于解决数据传输中的检错和纠错问题,而后被引入到了存储系统中。分布式存储系统中的纠删码技术主要是通过一定的算法将原数据进行编码得到冗余数据,利用冗余数据来实现数据容错。而阵列码作为一种构造简单和编译码运算速度极快的纠删码被广泛应用,其中EVENOOD码与RDP码的研究与应用最为成熟。然而传统的阵列码存在两个普遍的问题。其一是单盘故障恢复的开销过大,导致单盘故障的恢复速度过慢。而对于一个分布式存储系统而言,单盘故障恢复的时间过长会导致多盘故障发生的几率提升。而且节点间的带宽是分布式存储系统的瓶颈之一。因此,数据恢复的时间和恢复过程所需读取的数据量就成为了系统稳定性的关键。其二阵列码的容错性能有限,对于EVENODD与RDP码而言,都至多容两个错误。针对这一现状,本文在基于对常见阵列码构造以及优化方法研究的基础上,提出了对阵列码进行局部冗余改造的算法,具体内容包括:(1)对于常见的阵列码编译码算法进行了研究,主要包括EVENODD码、RDP码、STAR码、RTP码和X码等。对其编码构造和解码算法的特点进行了分析,以得出其存在的性能优势和局限,并以此为基础对常见阵列码的优化方案进行研究。(2)提出增加冗余列的方法来降低单盘故障的数据读取开销,同时增加容错性能,并以EVENODD码与RDP码为例进行改造优化,对于其水平方向和对角方向冗余分别进行局部优化改造。首先验证其编码效率与传统EVENODD和RDP保持一致,其次从理论上验证其在单双盘故障情况下能够减少数据读取量。最后通过列举三盘故障情况,分析得出优化后的码制能够恢复75%的三盘故障。对于加入局部冗余列后的EVENODD与RDP新的编译码方法进行了仿真实验测试。基于HDFS文件系统搭建了纠删码性能测试平台。并借助该平台对改造后的阵列码进行编译码仿真实验测试。实验结果表明改进方法在恢复效率方面相对于传统EVENODD码以及RDP码有明显提高。