论文部分内容阅读
重复数据删除技术可以大幅度削减重复数据,节省存储空间。内容地址存储是重复数据删除技术在备份、归档系统中实现的一种常用的数据存储形式。由于备份、归档系统中存在着大量的重复数据,在备份环境中使用重复数据删除技术具有很大的实际意义,能够解决传统备份技术所存在的重复数据量较大,网络传输数据较多的问题。尽管重复数据删除技术能够有效的删除数据,但是由于技术实现的缺陷,当前的采用重复数据删除技术的系统存在一些其它的问题,因而限制了其广泛应用。
本文根据备份环境下数据的特点,分析重复数据删除技术应用在备份系统中存在的关键技术问题,针对当前备份系统所存在的重复数据量过大、网络传输数据较多、平台移植性差和数据安全性较低等问题,在Bacula开源备份系统基础上,设计并实现了一种新的采用磁盘作为存储介质的文件级备份系统,有效的解决了当前数据保护领域所面临的一些问题,提高了数据安全性。本文的主要贡献如下:
(1)提出了一种新的文件数据块映射结构。通过重新设计文件数据块映射所存储数据的结构,显著提高了系统的恢复速度,进而提升了系统的整体性能。
(2)提出了一种具有安全性的数据存储和数据块索引结构。该设计能够迅速的通过SHA1值查找到相应的数据块,也能够较快速的完成系统局部化cache的更新。同时,该设计能够提高备份系统的数据安全性,在一定程度上解决了采用重复数据删除技术的系统所具有的数据安全性较低等问题。
(3)设计并实现了一种新的基于内容地址存储的文件级备份系统YOM-CAS。该系统采用基于内容的可变长分块算法将文件进行分块,然后通过内容地址存储方式删除重复数据,减少备份过程中的重复数据量,同时降低了系统的网络带宽需求,通过重新设计系统的存储逻辑,提高了系统的数据安全性。最后,由于该系统是在应用层基础上设计的系统,使得系统具有较好的移植性和扩展性。
为了验证系统的性能和正确性,本研究对YOM-CAS备份系统进行了一系列的测试,验证了本文提出的关键技术。系统的测试结果表明,YOM-CAS备份系统在能够保证获得较好的备份和恢复性能的情况下,大量删除重复数据,降低备份存储的数据量和网络传输数据量,达到了预期的效果。