【摘 要】
:
随着用户对数据安全和数据有效利用的要求不断提高,备份系统对数据的处理已经不再是简单的数据拷贝,而是存在大量种类繁多、功能各异的数据处理。目前现有的备份系统虽然功能强
论文部分内容阅读
随着用户对数据安全和数据有效利用的要求不断提高,备份系统对数据的处理已经不再是简单的数据拷贝,而是存在大量种类繁多、功能各异的数据处理。目前现有的备份系统虽然功能强大,但是系统结构复杂、数据处理功能基本都是固化于系统中。系统缺乏具有通用性的备份模型和架构,导致软件设计复杂,复用率低。关于数据处理功能,目前绝大多数备份系统存在如下几个缺陷:修改现有的数据处理和添加新的数据处理都是很复杂的;不支持第三方扩展研发;无法支持细粒度的数据处理。
在备份领域中,待处理的数据和数据处理过程是有如下特性的:待处理的数据是海量的、呈树状嵌套结构;数据处理的方式必须是流式的,低内存消耗的,数据处理的过程是多种多样的。各种处理过程可以划归为一个统一的处理操作。同时,各数据处理过程之间的业务处理功能相对比较独立,可以以松耦合的方式实现。因此,本文考虑将插件的思想应用于备份系统中,即将每一个数据处理看作一个遵循相同接口的插件,实现对备份系统中的各数据处理过程提供诸如动态插拔、动态配置等管理功能。
本文从流式数据处理系统研发中的具体问题出发,首先以半形式化的方法分析和归纳了备份系统中数据的结构、数据处理的行为,得到了一个流式处理模型;然后由该模型映射得到一个软件部件,即一种可复用的流式插件结构,每个数据处理操作是一个插件。接着使用纯C++语言实现了该插件系统。同时我们重点讨论了系统实现过程中的几个关键问题。最后,对比了当前系统与现有备份系统在框架和性能上的优劣,并总结了当前系统的不足。当前流式模型和插件系统结构对类似流式处理领域有一定的理论性和工程性借鉴意义。
其他文献
无线传感器网络已经广泛应用于环境监测、目标追踪、地理路由等领域。大量低成本、多功能、微小体积的无线传感器网络节点可以布置在一定的区域形成一个大规模的、动态拓扑结
电力系统规模逐渐增大,数据量提升,而当前的计算技术缺乏关于数据整体特征的描述,无法根据现有的数据准确充分做出决策。将计算机领域的数据挖掘技术应用于电力系统的暂态稳定评估领域,研究大数据量处理前提下的电力系统计算方法,对于提高电力系统计算水平将有巨大帮助。电力系统暂态稳定评估存在两个主要问题:一是参与分析评估的训练集不足以覆盖整个样本空间,所选特征变量不能全面、正确地描述电力系统的运行状态,导致分类
随着多媒体技术和互联网技术的飞速发展,数字告示系统以其灵活高效、多区域、多元素和实时播放等特点得到越来越广泛的应用,同时也获得了人们的一致好评,被誉为“第五媒体”。但
无线传感器网络(WSN)的MAC协议处于网络协议的底层部分,它决定无线信道的使用方式,对无线传感器网络的性能有极大影响,是保证无线传感器网络高效通信的关键网络协议之一。传
三维地形场景视景仿真技术是近年来在虚拟现实领域中一项重要的技术,它以三维地形网格为主,结合多媒体、立体视觉、传感技术创造出一个身临其境的虚拟世界。三维地形技术是视
目前移动商务发展迅速,但是图形化应用是移动商务面临的一个的问题。虽然移动终端市场对J2ME的支持较为普遍,但是网络传输能力较弱,即使3G网络会提高网络传输速度,移动终端更
随着无线网络与可移动设备的发展,移动计算正逐步成为分布式计算的主流,移动计算使得人们在保持网络连接的同时能够自由移动,这促进了许多新的分布式应用的出现。但是移动计
随着我国信息化进程的深入和电子政务的建设,大量的社会和经济信息已经电子化。而由于国际政治经济的交流和发展,如何向世界范围内发布这些相关的信息成为一个现实需求。近年
自然界中生物体优胜劣汰,不断由低级向高级进化。人们通过观察这些适者生存的法则构成了一些优化算法。优化算法的本质是在众多解中寻找到一个最优的解,使得系统在满足一定约
由于Web上海量的信息处于不断的变化中,通用搜索引擎已经很难再为用户提供一个准确并且更新及时的信息搜索服务,其局限性在于它试图索引全部Web并且试图服务于所有主题的查询请