面向数据灾难恢复的副本管理多目标优化技术研究与实现

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:xiaoppqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息系统在传统的IT产业和电力、能源、交通、物流等越来越多的产业中发挥关键作用,承担主要业务和企业内部管理等功能,随着大数据时代通过巨大的计算能力和存储能力发掘出数据的更新、更重要的价值,数据的重要性上升到关键资源的层次。海量数据的备份和恢复让传统的数据保护方法显得维护成本高和恢复时间长,数据安全性降低。数据备份和保护,以及数据恢复不仅是政府和大型企业的需要,越来越多的中小企业也需要依赖数据备份和恢复等面向灾备的软硬件保证业务和数据。目前主要存在的问题包括:1.海量数据的备份和恢复需要存储成本大,恢复时间长;2.在云存储等分布式集群上,较少研究针对灾备需求;3.多个副本放置需要高效、快速的算法,利用分布式系统上的资源能力。本文主要工作是:1针对分布式存储集群系统中保持副本高可靠性和高可用性的副本技术,调研了副本创建、副本数调整、副本选择和副本放置等副本策略的改进和优化算法,调研了提高集群性能和改善集群负载均衡的现有技术现状。2设计了一种面向数据灾难恢复的副本管理多目标优化算法DR2S:提出了一种基于离散多目标粒子群优化算法的副本放置技术,该技术优化备份数据的管理成本目标和数据恢复的读取时间目标,首先构建了离散的多目标粒子群模型描述灾备数据副本的放置,然后定义了在粒子群算法中粒子的更新操作,接着描述了在算法过程中的特定步骤的处理方法和整体算法流程。3针对上一部分设计的DR2S策略,提出了在MapReduce并行模型下实现此策略的改进方案和整体算法流程。通过实验验证,DR2S策略能够优化数据副本放置的成本目标和数据恢复的读取时间目标,并行执行的DR2S算法运算时间有了明显减少。4在分布式数据灾备管理平台上设计了一个备份数据管理模块。针对本文研究的内容,将文中提出的算法进行模块化处理,整合到分布式数据灾备管理平台上,应用于在HDFS分布式存储集群中管理文件块。
其他文献
中文自动分词是实现搜索引擎信息检索的基础,长期以来一直是人们研究的重点,它广泛应用于中文信息处理的各个领域。传统的分词系统大都采用基于词典机制的分词算法,它们必须在分
大数据时代背景下,数据量的爆炸式增长,给数据存储带来巨大挑战。一方面,传统磁盘以及新型存储介质失效出错的概率随存储规模激增,导致设备级失效趋于常态化,但现有编码无法
缓冲区溢出漏洞是一个在各种类型操作系统和程序都广泛存在的一个安全漏洞,也是被黑客最多使用的攻击漏洞。目前大多数缓冲区溢出检测工具是基于源代码的,极大限制了工具的使
移动Ad hoc网络是指由若干带有无线收发信机的节点构成的一个无中心、多跳的和自组织的对等式通信网络。因为具有组网灵活、分布实施等特点,使它拥有了广阔的应用前景,一直成
P2P(Peer-to-Peer)网络目前已经成为新的热点,在现实中已经有了广泛的应用。其安全性越来越受到人们的重视。本文在对非对称算法(RSA),对称算法(DES)以及数字证书结构的深入
随着计算机技术的不断进步,虚拟现实理论的完善,计算机图形图像处理技术的成熟,医学影像学获得了长足发展,其功能越来越多,应用领域也越来越广。虚拟内窥镜技术是基于这些技术和理论而逐步形成的一种新技术,该技术属于医学虚拟现实的范畴。本文主要对一种基于距离变换的方法进行研究,并将其应用于官腔路径提取中。不但能处理单分支结构的对象,还能处理多分支结构的对象。根据起点或已找到的中心路径上的当前点与终点的位置关
在Ad Hoc网络中,由于每个节点兼具主机和路由器的功能,从源节点到目的节点的路径通常会有多条,所以适合采用多路径路由。另一方面,多路径路由可以提高网络带宽,均衡资源利用率,延长
伴随着网络技术的飞速发展,XML已经成为了事实上的网络数据表示和传输的标准。从数据库研究的角度来看,XML的查询语言,XML的数据编码和索引结构一直是研究的重点。但是,随着
随着网络技术的飞速发展,互联网上充斥着更多可以利用的廉价资源。利用此类资源的网格计算解决规模庞大、复杂问题具有重要的意义。网格资源具有规模庞大、分布异构和动态性