基于内容地址存储的文件级备份系统研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:qinzhen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
重复数据删除技术可以大幅度削减重复数据,节省存储空间。内容地址存储是重复数据删除技术在备份、归档系统中实现的一种常用的数据存储形式。由于备份、归档系统中存在着大量的重复数据,在备份环境中使用重复数据删除技术具有很大的实际意义,能够解决传统备份技术所存在的重复数据量较大,网络传输数据较多的问题。尽管重复数据删除技术能够有效的删除数据,但是由于技术实现的缺陷,当前的采用重复数据删除技术的系统存在一些其它的问题,因而限制了其广泛应用。   本文根据备份环境下数据的特点,分析重复数据删除技术应用在备份系统中存在的关键技术问题,针对当前备份系统所存在的重复数据量过大、网络传输数据较多、平台移植性差和数据安全性较低等问题,在Bacula开源备份系统基础上,设计并实现了一种新的采用磁盘作为存储介质的文件级备份系统,有效的解决了当前数据保护领域所面临的一些问题,提高了数据安全性。本文的主要贡献如下:   (1)提出了一种新的文件数据块映射结构。通过重新设计文件数据块映射所存储数据的结构,显著提高了系统的恢复速度,进而提升了系统的整体性能。   (2)提出了一种具有安全性的数据存储和数据块索引结构。该设计能够迅速的通过SHA1值查找到相应的数据块,也能够较快速的完成系统局部化cache的更新。同时,该设计能够提高备份系统的数据安全性,在一定程度上解决了采用重复数据删除技术的系统所具有的数据安全性较低等问题。   (3)设计并实现了一种新的基于内容地址存储的文件级备份系统YOM-CAS。该系统采用基于内容的可变长分块算法将文件进行分块,然后通过内容地址存储方式删除重复数据,减少备份过程中的重复数据量,同时降低了系统的网络带宽需求,通过重新设计系统的存储逻辑,提高了系统的数据安全性。最后,由于该系统是在应用层基础上设计的系统,使得系统具有较好的移植性和扩展性。   为了验证系统的性能和正确性,本研究对YOM-CAS备份系统进行了一系列的测试,验证了本文提出的关键技术。系统的测试结果表明,YOM-CAS备份系统在能够保证获得较好的备份和恢复性能的情况下,大量删除重复数据,降低备份存储的数据量和网络传输数据量,达到了预期的效果。
其他文献
目前,大多数安全访问控制技术都是基于操作系统实现的,如SELinux。而在虚拟化环境下,访问控制技术通常都是在虚拟化层(Hypervisor或VMM)实现的。不论操作系统,还是虚拟化层,其安全
人群疏散模拟作为广泛应用于建筑疏散评估、群体行为演练、影视制作等方面的新兴研究热点,如何能够实现高效的人群路径规划和复杂行为建模已经成为了众多国内外研究者的重大
龙芯2号作为中科院计算技术研究所自主研发的高性能通用处理器,从其诞生之日起就和国家信息化、工业化等紧密联系到了一起,应用的范围也越来越广泛,数字信号处理领域就是其中之
随着Web技术的发展,许多信息都以服务的方式发布到网络上。一种新的利用这些信息服务构建某个领域的信息展示类应用的方式应运而生,即面向领域的信息聚合展示类Mashup应用。然
随着信息科技的发展,大量的数据被生产出来,并逐渐成为各个企业组织的重要资产。数据的丢失往往会带来重大的经济损失,甚至威胁到企业的生存。全球每年都会发生因为数据丢失造成
博客(web blog)是Web2.0的典型应用之一。博客通过提供作者与读者的交流平台而构建出交互式和动态更新的社会网络,已成为一种重要的信息传播媒介。博客的形式多样、内容灵活,极
随着GIS应用的不断发展,GIS数据出现了激增的趋势,现有使用文件系统、数据库的数据管理方法遇到了处理和存储能力的瓶颈。使用集群系统管理和处理GIS数据将成为高性能GIS应用的
机器人足球系统是一个新型的交叉学科,是一个典型的分布式人工多智能体系统,在这个系统中,多个智能体,即机器人小车,在复杂的场地环境中相互协同配合完成任务。机器人足球系统涉及
随着计算机技术在工作和生活中扮演越来越重要的角色,对儿童的计算机科学的教育越来越受到国内外研究人员的重视。编程教育已经被证实可以激发儿童对计算机科学的兴趣,培养儿童
随着技术的进步,由商用部件构成的、成本低廉的机群系统已经成为高性能计算应用的主流。但是,机群系统计算密度低、体积大、能耗高,可靠性差,很大程度上制约了自身的发展。刀片服