基于纠删码的高效分布式块存储技术研究

来源 :中国航天第二研究院 航天科工集团第二研究院 | 被引量 : 0次 | 上传用户:chibi2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据和云计算的不断发展,各行各业对海量数据的存储需求不断增长。海量数据存储和管理面临着可靠性保障困难、存储成本高和架构难以扩展等问题。为提高Scale-out架构的分布式块存储系统的存储可靠性并降低存储成本,提出了一种针对块存储访问特点的基于纠删码的分布式块存储解决方案。设计并实现了一个基于纠删码的分布式块存储系统原型,在提升存储可靠性和存储利用率的同时,避免现有纠删码更新代价高和重构成本大的缺陷,使得这些缺陷不会对块存储的I/O访问性能造成很大影响。本文的贡献主要包含两个方面:  (1)针对纠删码数据更新代价高的问题,在分析了现有的更新策略基础上进行了多种改进。将使用数据节点和校验节点共同更新校验块的方法与校验部分日志的差量更新思路相结合,减少了网络传输流量;同时,在校验节点使用存储池来管理所有的数据差量日志,存储池采用高效的自适应管理模式,提升了校验块的更新效率,而且不占用大量的存储空间;其中,使用单一存储池的改进方法提高了纠删码的更新效率、减少了磁盘I/O并且进一步节省了存储空间。  (2)针对纠删码故障重构成本大的问题,提出了一种混合的故障重构方法。首先,将纠删码和热备副本相结合解决了临时性故障导致的退化读和退化更新问题,并从时间维度分散了故障重构的压力从而提升了重构效率。同时,精细地控制永久性故障延迟重构的时间点,在对读写性能和数据可靠性影响较小的前提下,减少了故障节点重构的次数,从而极大地减轻了重构操作对网络传输带宽造成的负担。  最后,围绕基于纠删码的分布式块存储系统原型的存储利用率、访问性能以及故障重构效率等进行了相关测试。测试结果表明:相比三副本,系统原型的纠删码存储利用率提升了1倍,并且具有了更优的数据更新性能;另外,故障重构操作消耗的网络修复带宽相对于原有纠删码重构方案减少了69%。
其他文献
湍流是流体运动中表现最为复杂的形式,其中均匀各向同性湍流是一种最简单并具有代表性的湍流,也是目前研究最多的一种情况。自20世纪70年代以来,直接数值模拟作为研究湍流机理的
随着2G、3G蜂窝网络的不断发展,移动通信业务逐渐在人们生活中发挥作用。由于基于位置服务的便利性,移动网络定位技术也成为了近来研究的热点。在现有定位算法的基础上,利用
人类视觉系统可以利用有限的视觉资源高效的处理大规模的输入信息,这得益于视觉系统的选择注意机制。选择注意机制使人类视觉系统可以快速而又精确的选择出视觉场景中的重要信
燃烧试验室作为国家消防电子产品质量监督检验中心的一个重要试验室,不仅在日常检验工作中发挥着重要的作用,还可以完成各种课题所需要的特殊燃烧试验.燃烧室数据采集处理系
Internet技术的产生和快速发展极大地影响了软件的构建方法与使用方式,软件形态逐渐从单机环境中的软件产品向网络环境下的软件服务扩展。这样的转变在扩展软件系统应用范围的
多处理器实时容错调度算法是重要的实时系统可靠性保障技术,算法效率对于实时系统的整体性能具有重要影响,调度算法因而成为实时系统的热点研究问题。本文在多处理器实时容错调
图像检索技术旨在从大规模图像库中快速、准确地检索相似图像,是近年来多媒体领域的研究热点,在网络信息监控、数字版权保护、搜索引擎等领域具有重要的应用价值。图像检索系统
在现代化武器系统中使用现场总线系统作为数据传输的通道是实现各类复杂武器系统信息化的主要手段,而近几年针对工业控制系统的攻击技术迅速发展,现场总线系统的信息安全面临越
学位
本文针对靶场信息化建设对三维可视化应用平台的应用需求,设计了基于图形软件OpenGL的靶场三维可视化系统。指挥所是靶场的指挥中心,是基地对内、对外的窗口,是展示基地实力和水