基于Hadoop分布式存储编码的研究与实现

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:forestdancer
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相比于传统的副本策略技术,纠删码策略技术在分布式存储系统中可以以更低的存储代价达到和副本一样的数据可靠性。Hadoop作为一个高扩展、高可靠的分布式框架在3.0版本之前采用了副本数为3的复制策略,3.0版本以后其文件系统HDFS引入了纠删码特性,它将文件块以k个为一组进行编码计算得到n个块并存于n个节点之中,并且以后使用任意k个节点中的块可恢复出原始数据。EVENODD编码采用了完全基于异或运算的编解码方式,编解码时没有涉及到矩阵的构造以及矩阵的求逆,因此具有较高的编解码效率,同时该编码拥有MDS性质。Hanxu Hou等人提出一种降低EVENODD更新复杂度的编码EVENODD+,但是其解码公式判断条件繁多、流程冗杂,所以不利于实现于分布式文件系统。本文对EVENODD+的解码方式进行了图表式解释,做到了在不理解原作者解码公式的情况下,通过看图就能掌握简单的解码流程的效果,一定程度降低了将EVENODD+实现于扩展性强的分布式系统的难度。Piggyback编码框架建立在RS编码的基础之上,它提升了RS的修复性能却拥有着和RS一样的冗余度。K.V.Rashmi等人提出了一种基于Piggyback演变的Hitchhiker并实现于HDFS-RAID,发现(14,10)Hitchhiker在单节点故障下载带宽上相比于(14,10)RS编码减少了33%。本文对Hitchhiker进行了改进,进一步降低了修复单节点故障的下载带宽。原Hitchhiker是以2个RS条带为一个基本单位进行构造,本文引入了向量的思维,以4个RS条带为一个基本单位,使得(14,10)Hitchhiker在单节点故障的修复带宽上相比原先的(14,10)Hitchhiker又降低了8%。本文将图表式解释的EVENODD+和改进后的Hitchhiker实现于Hadoop3的HDFS上,并从编码时间、解码时间、读取帮助数据时间三个角度对比了本文改进后的两种编码、改进前的两种编码、HDFS自带的纠删码。最终实验结果表明,(5,3)EVENODD+在编解码时间和更新时间上要比(5,3)EVENODD减少6%左右,改进后的(9,6)Hitchhiker要比改进前的(9,6)Hitchhiker在修复单节点故障读取帮助数据用时上减少3.83%左右。
其他文献
高反光物体是指物体表面具有镜面或者类镜面反射的物体,由于外表光滑,观赏性强,生活中此类物件比比皆是。这类物体表面反光会造成强噪声干扰,缺陷不易捕捉,因此这类物体表面
图像上色与去色是计算机视觉领域及图像处理领域内的重要技术。对彩色图像进行去色操作,在现实生活中有着诸多应用,如图像打印,单通道图像处理以及风格化处理等;而对黑白图像
目前,数字信号处理器(digital signal processor,DSP)依靠对信号的快速采集、识别处理、变换等功能,在家庭影音、航空航天、工业控制等领域得到了非常广泛的实际应用。DSP的功能完整实现依赖于它的配套驱动软件支持,DSP处理器产品市场竞争愈发激烈,实现敏捷开发变得愈发重要,保证处理器产品研发速度跟上市场需求变化的脚步,这也意味着驱动软件的开发测试需求也随之快速增长。为保证软件质
在惯导产品的标定与验收中,如何提高设备利用率,降低测试成本,是亟待解决的问题之一。然而,目前市场上的CAN接口数据采集装置最多只能同时采集八个通道的数据。因此,为了进一步提高惯导测试效率,减少产品开发周期,本文设计了一种高效、便携的24通道CAN数据采集装置。本文针对传统的数字复接中的FCFS算法调度效率不高,仅考虑任务等待时间,忽略任务执行时间,易导致任务超出截止期。本文对任务的剩余价值密度及执
随着数字图像技术的快速发展和图像编辑软件的普及,人们可以对数字图像进行随意的编辑和修改而不留下明显的视觉痕迹。伪造图像的出现给生活中的许多方面带来了负面的影响,如
为响应文化供给侧结构性改革的号召,同时健全现代文化产业体系和市场体系,推动文化产业实现转型升级,全国各地开始大力度发展以数字文化为代表的新兴文化业态。一系列鼓励政
可见光通信(VLC)是一种将电信号调制到发光二级管(LED)发射的可见光上进行光信号传输的新型技术。该技术是兼顾照明和通信功能的新型无线光通信技术,具有大调制带宽、无电磁辐射和支持信号高速率传输等优点,可广泛应用于室内无线信号接入系统中。因此,在室内环境中研究可见光接入系统中的多阶调制格式具有技术可行性和应用必要性。本文分析了相移键控调制、正交幅度调制和正交频分复用技术(OFDM)调制信号的调制/
现如今,视频监控行业发展迅速。大量监控摄像头带来了数据量的增加,由此出现检索困难,实时响应差等问题。对视频监控内容进行智能化分析越来越重要,其中,视频中行人目标身份识别在刑侦检索、自助服务等方面起到非常重要的作用。步态识别通过行走姿态实现身份识别,无需人为配合且适应较远距离。要将步态识别技术应用到视频监控中,首要任务是获取行人的步态特征表达,需要解决在复杂监控场景下获取行人有效步态特征问题。因此,
额外维的概念在现代物理学中有重要地位。因为可以解决宇宙学常数问题和层次问题等基本难题,额外维与膜世界近来又被广泛研究。膜世界的核心问题之一是引力和物质场的局域化,
图像处理软件的广泛应用使得大量视觉内容相似的图像涌现在互联网,如何高效地检测出给定一幅图像的视觉相似图像是图像处理领域亟待解决的一个重要问题。近年,越来越多的研究