基于HDFS的云数据备份系统的设计与实现

来源 :吉林大学 | 被引量 : 0次 | 上传用户:dfsdfdf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
作为一种数据安全策略,备份是避免数据丢失的最基本也是最后的手段。云存储技术的出现为数据备份提供了新思路。云存储以下方面的特点适合于数据备份:云存储提供完整的数据存储服务,用户可以得到一个智能的备份软件以及一个管理完善的存储容量;云存储仅仅是对数据进行备份,用户不必担心失去对原始数据的控制;云存储服务具有价格上的优势,备份同样规模的数据,云存储所需的费用远比购置存储设备建立数据中心成本上要低廉的多。本文设计实现了基于云存储软件HDFS的数据备份系统-HBDBS(HDFS Based Data Backup System),该系统充分利用云存储技术的优势,应用企业已有的廉价计算机设备建立数据备份集群,满足用户数据备份/恢复业务的需要。该系统分为客户端、备份服务器和HDFS集群三个部分。客户端是用户需要进行数据备份/恢复服务的计算机节点,按照地域、网络带宽等分成若干个群,当需要进行数据备份或者恢复时,他们向负责本群的备份服务器提出请求,得到许可后进行文件的备份和恢复操作。备份服务器是客户端和HDFS集群间的数据备份和恢复的桥梁,由多个高性能、大存储量的服务器构成,每个服务器负责一个客户端群。他们接受客户端的备份恢复请求,对用户进行身份验证并缓存客户端的数据。针对HDFS适合于大文件存储的特点,备份服务器通过设置上传阈值的策略对小文件进行合并上传备份以提高系统性能。备份服务器同时保存客户端备份文件的映像表,当客户端提出恢复请求时,从HDFS集群中读取备份文件,按照文件映像表发送给客户端。HDFS集群由安装了HDFS软件的计算机构成,向备份服务器提供备份、恢复服务,实现系统的核心功能。HDFS集群由一个Namenode和一定数目的Datanodes组成。Namenode执行文件系统的名字空间操作,也负责确定数据块到具体Datanode节点的映射;DataNode用于存储数据,由企业内部大量廉价计算机配置而成,并且可以根据备份数据的规模进行动态扩展。本文设计的基于HDFS的云数据备份系统在安全性、可扩展性、经济性及可靠性上均具有一定的优势:安全性:备份服务器通过用户身份认证等措施保证客户端与备份服务器间的安全;通过Hadoop的安全机制实现了备份服务器和HDFS集群的通信与数据传输安全。可扩展性:借助Hadoop软件强大的存储可扩展和计算可扩展能力,可以根据需要随时扩展HDFS集群的规模,增加系统的备份能力。经济性:HDFS是专门针对廉价硬件设计的分布式文件系统,具有良好的兼容性,任何计算机都可以通过安装该软件加入备份集群。因此可以充分利用企业已有大量闲置廉价计算机资源,节省设备采购的开销。可靠性:备份文件在HDFS集群中以多副本的形式进行保存,同时还可以根据文件的重要程度,增加副本的份数,提高可靠性。云存储技术是新兴的技术,我们下一步的目标是研究如何能够让该技术在数据备份领域发挥更大的作用。
其他文献
作为大电网的有力补充和分布式能源的有效利用形式,微网的发展已经成为全世界电力学者关注的焦点之一。随着对微网研究的发展和深入,如何确定微网运行时的经济效益,并提出系
军工企业以生产的军品为国防领域服务,承担着保障国家国防安全和主权独立的神圣使命,所以对我国军工企业发展状况的研究具有十分重要的意义。其中,融资过程中所存在的问题是
二十一世纪的头二十年,是我国的重要战略机遇期。经济全球化深入发展,为我国经济发展提供了有利条件。为了要抓住和用好重要战略机遇期,牢牢掌握加快我国发展的主动权,中共中
随着化石能源的日渐枯竭以及环境污染的日益严重,为了满足日益增长的电力负荷需求,必须充分利用各地丰富的清洁和可再生能源,大力发展分布式发电技术,并将分布式发电供能系统
任何一项制度的合理运作要有各项支点为支撑,以理论研究为契点来探究侦查人员程序性违法的举证责任对于一整套机制之构建具有不可估量之功效。与传统的证明责任分配原则不同,
企业国有产权交易是国有资产管理的重要环节,其对于国有经济布局和结构的战略性调整、国有资产的保值增值、强化国有企业治理、发展和完善多层次资本市场均具有重要意义,而法
城市公共交通是与人们生产生活息息相关的重要公共服务之一,是关系国计民生的社会公益事业。优先发展公共交通符合中国国情和城市交通发展的实际情况,是提高交通资源利用效率
自升式钻井平台凭借其抗风暴能力强、机动性好、造价经济等优点,承担着大量中、浅海地区的石油钻探任务,因此,对其进行安全评估是十分必要的。目前,相关学者针对平台拖航过程
在城市化快速发展的今天,我国许多的河流景观渠道化改造明显,河流生态化遭受了严重的破坏。河流景观质量下降和河流生态系统的退化已成为倍受国际关注的全球性环境问题。随着
过去十年我国经济快速发展,这种发展速度主要体现在我国GDP增长速度上,而我国GDP增长中,房地产行业所占比重越来越大,房地产业已成为我国国民经济发展的支柱产业。一个产业的