溯源的高效存储管理及在安全方面的应用研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:tshy65655
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,全世界每天都在爆炸性的产生各种新的信息量。对于存储系统的容量需求,也从PB(Petabyte)、EB(Exabyte)到如今能容纳‘’Big Data"的海量存储系统在发展。尽管有各种新的存储器件在不断产生,新的存储体系架构也在不断提出,但对于海量数据本身的分析和理解却停滞不前。比如,当我们在云端获取某些重要数据时,我们可能会问,这些数据从哪里来,之前有人用过么,可靠性和安全性如何?溯源(Provenance),作为一种包含了数据对象历史信息的元数据,正好可以用来解答这样的问题。比如,一个数据对象是如何被创建的,经过了哪些修改,两个数据对象的祖先有什么不同。在系统领域,一个数据的溯源是所有影响这个数据最终状态的进程信息和相关数据。正因为溯源揭示了数据对象的过去或产生过程,使得溯源具有了更广泛的使用价值。现在,溯源已经被科学家用来验证重要的实验数据集,提高桌面搜索的效率,审计重要的财务账目等,还有一些研究正在将它用于重复性数据删除,分布式安全等领域。但目前针对溯源特点的研究还并不多。比如,溯源的一大特点是数据量大,但现在还很少有比较好的算法在大量压缩溯源的同时支持对溯源的高效查询。另外,溯源记载了数据的生成历史,但对于用溯源来保证数据可靠性以及根据这种生成历史来分析系统入侵行为的研究却并不多。提出了一种可高效压缩溯源的基于web图形压缩和字典编码的混合压缩方法。通过利用溯源图和web图的相似性,该方法充分挖掘了溯源图节点中的局部性和相似性特征,以及消除了溯源信息中固有的一些重复性字符串。和以往的压缩方法相比,该方法能进一步压缩溯源图中边上的信息,具有更细的压缩粒度,并且支持对溯源的高效查询。在大量溯源trace上的实验表明,该方法在压缩率、压缩时间和查询性能等方面,相比其它压缩模式提供了最好的折衷。提出了一种面向单个数据对象进行重建、可并行重建及设置重建优先级的基于溯源的数据重建方法。通过回溯数据文件的生成过程,该方法可以准确地重建丢失或受损的文件。相比以往更注重整个硬盘或系统安全的保证数据存储可靠性的解决方案(例如,日志文件、快照或备份),其优势主要在于,能重建单个数据对象,能并行重建多个数据对象,以及优先重建重要的数据文件。基于溯源的数据重建系统在文件被正常读取时,能够收集文件的溯源信息。而在文件丢失或损坏后,能自动重建这些文件。并且在重建过程中,能恢复受影响的其它文件。实验结果表明,基于溯源的重建性能显著优于以日志为基础的重建性能。尽管有溯源数据库大小等影响溯源重建的因素,但实验表明,这些因素对基于溯源的重建性能影响并不大。提出了一种采用溯源信息来进行入侵检测的方法,通过对和系统进行交互的进程收集溯源信息,从而确定入侵进程对文件访问和修改的详细行为模式,进而方便快捷地判断系统是否入侵以及找出系统漏洞。该方法克服了采用传统的系统/网络日志来进行人工分析时的复杂性和低效性。另外,由于日志一般记录的仅仅是系统事件中的部分信息,比如说]HTTP连接或者Login记录,从而使得整个分析过程非常困难。基于溯源的入侵检测方法,将和系统进行交互的网络连接当做文件对象,并收集系统进程和文件对象之间依赖关系的溯源信息,然后构造溯源图,这样管理员就可以找出入侵路径。通过对入侵链上的每个事件进行分析,就可以确定系统漏洞以及入侵攻击来源。实验结果表明,基于溯源的入侵检测机制和传统方法相比,具有较低的误检率以及更高的检测率,只有较小的空间开销,并且几乎对系统性能无影响。提出了一种利用基于对象的主动存储技术来显著优化溯源处理和在网络上传输的性能的方法。溯源数据产生的持续性和大量性,使得溯源数据在网络环境下的传输成为了一个重要的网络瓶颈因素。采用基于对象的主动存储技术能很好地解决这一问题。一方面,主动存储技术将溯源的处理从主机下放到存储设备,从而大大减少了溯源经由存储设备在网络上传输的数据量;另一方面,基于对象的存储设备相比传统的块设备,具有更强大的处理能力,可以更加智能化、自动化的处理溯源。在对象存储设备内,普通的数据文件和溯源数据库记录都被当做用户对象。而各种数据处理任务则被当做功能对象,它们将被灵活的调度执行来完成系统所要执行的一系列任务,如溯源数据的压缩、查询、数据的重建等。评估表明,基于对象的主动存储技术能显著地提升利用溯源来重建数据的性能。
其他文献
油脂降解缓慢是影响餐厨垃圾厌氧发酵的重要原因。应用脂肪酶强化餐厨垃圾厌氧产甲烷,探究了脂肪酶投加量、温度和pH对产甲烷的影响。结果表明,脂肪酶能够促进餐厨垃圾厌氧发
通过对16例健康老年男性练功者血清睾酮(T)、雌二醇(E2)及促黄体生成素(LH)的放射免疫测定和自身对照研究,发现练功6个月后,同自身练功前比较,血清T水平无显著变化,但血清E2及LH水平显
视频监控系统面临着一系列安全问题,频频出现视频监控假冒、窃取和非法控制事件。基于可信计算技术,设计了可信视频监控系统安全架构。该架构对系统中的计算设备实施可信安全
目的:探讨内镜下诊治大肠息肉的方法和疗效。方法:对185例大肠息肉病例经电子结肠镜下高频电刀切除等治疗并进行分析总结,随访者复查肠镜后评价疗效。结果:全部病例均治愈,未发生
高性能计算机是现代科学研究、工程技术开发和大规模数据处理的关键支撑技术。随着高性能计算机的发展,并行计算机的体系结构越来越复杂,并行程序设计的难度也越来越大。使用
磁记录,特别是硬盘磁记录,以其经济性和可靠性,成为现代信息存储的最重要手段。从硬盘诞生之日起,其记录密度一直保持良好的增长势头。新的磁头技术和介质技术的不断开发和运
随着油田开发的不断深入,油田增产措施产生包括油水井作业废液和压裂返排液、注水井及干线冲洗等废液对环境的影响越发受到重视,为了满足油田开发对水质的要求,从环境保护和
基本建设项目竣工财务决算报告是基建项目的总结性报告,是确认基本建设项目投资支出、正确核定新增资产价值、反映水利基本建设成果的重要文件,是办理水利工程资产移交和投资
采用浸渍法制备负载铁锰氧化物的活性炭催化剂,并用其催化臭氧氧化处理邻苯二甲酸二甲酯(DMP)废水。利用响应面法(RSM)对催化臭氧氧化处理的工艺参数进行优化,以DMP废水的COD去除率