一种异构感知的纠删码归档方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:qinghuawuqiong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
相对于多副本存储,纠删码在保证数据可用性的同时具有存储效率高、可扩展性好的优点。因此,如何将纠删码应用在多副本集群中成为热门的研究方向。当副本集群为了提升存储效率,提出冷数据编码请求时,会有如下问题:(1)7*24小时在线的集群无法为数据编码请求提供离线的环境,编码过程中的数据读取以及网络传输和用户数据访问之间会存在磁盘和网络资源的竞争;(2)当冷数据在集群中分布不均匀时,仅考虑数据局部性的编码方式会导致大量数据块在相同节点上编码,最慢的节点成为了编码过程的瓶颈;(3)节点硬件的异构和用户I/O导致集群中节点可用资源的差异,仅考虑数据局部性的调度方式无法解决编码过程中负载不均衡的问题。本研究的主要内容与贡献如下:(1)将每个节点可用于编码的资源(空闲能力)量化,为每个生产节点设定编码权重值。节点权重值的大小决定分配给该节点编码数据块的多少。这样可以有效地避免编码速度过慢的节点成为整个编码过程的短板,同时还可以降低编码作业与用户I/O的资源竞争,从而提高集群的工作效率。(2)提出一种基于时间窗口的编码调度机制,将以权重值为基础的任务分配以一个较短的时间为单位。时间窗口将一个长时间的大作业划分为多个时间片内的小作业,以小作业开始时的用户负载预测一个时间窗口的负载——即假定时间窗口内用户负载恒定不变,将动态的节点负载转换为静态。(3)利用每个节点上一个时间窗口编码任务的完成情况,线性的增加或减少该节点当前时间窗口的权重值。这样的权重值反馈机制不断的修正时间窗口内的节点空闲能力的偏差。实验结果表明,该方法能够大幅度加速冷数据块副本到纠删码的编码过程,相对于传统的调度机制加速比可以达到2.78;同时对用户作业的影响降低6.89%。
其他文献
据世界卫生组织的发表《全球疾病负担》[1]评估报告显示心血管疾病已成为全球头号健康杀手,而这其中患者的主要死亡于心脏病和中风。随着近年来心血管疾病治疗技术的进步,外
多径传输使用多条连接流分割节点和流汇聚节点的路径进行传输。相对于传统的单径传输,多径传输具有充分利用网络资源、减少拥塞、提高传输可靠性和提高网络的安全性等优点,是
移动增强现实即在移动设备上将虚拟物体与真实场景进行叠加,实现两者的有机结合。目前大多数移动增强现实技术着重于对摄像头视角内对象进行可视化,但受制于其屏幕限制,无法
日新月异的计算机科学技术的迅猛发展给社会各个领域尤其医学领域带来了巨大的革新,医疗卫生行业逐步实现了信息化。电子病历作为医疗机构最重要的文件,其本身的信息化程度直
图处理系统正被广泛的应用于各个领域的数据分析中,随着图处理任务的增加,它们需要有效的应对多任务环境。现有的图处理系统一般针对单一任务设计,在执行并行任务时存在图数
随着视频共享系统和编辑软件的出现以及广泛使用,共享系统中的视频数量和种类快速增加。在这些海量视频中存在大量重复或在内容上高度近似的视频,增加了用户与视频共享系统之
人脸检测是一个复杂的模式判别问题,其难点主要由成像角度不同所引起:如平面内旋转和平面外旋转,偏转角度会直接影响判定人脸的准确度。当前基于深度学习卷积神经网络的检测
近年来我国高等教育学分制逐步推行,办学规模日益扩大,教学资源也显得相对紧缺,这就要求教务管理工作向着更高效的信息化和网络化发展。教务管理工作的信息化、模块化、便捷
随着计算机软、硬件的飞速发展,以及互联网和无线通信技术的日益成熟,基于嵌入式和无线网络的监控系统在各个领域发挥着越来越重要的作用。针对无人值守或特殊行业对远程监控
信息技术的快速发展促进了各行业在原有分布式业务信息管理平台下加强信息资源集成、共享、挖掘与利用。安全稳定及时可靠的数据交换网络是系统平台升级,行业之间行业内部频