云存储系统中数据复制研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:seankkk2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术、云存储技术的发展,系统内部产生的数据量呈现出爆炸式的增长方式。在面对海量数据的存储与处理时,云计算技术以及云存储技术逐渐成为当前互联网技术中主流的数据共享与处理的技术。云存储系统中,经常通过数据复制技术来提高数据可用性,保证数据的容错性和提高容灾能力。云存储技术的关键技术中就包含有副本管理技术和副本放置技术。这些技术能给系统带来好处的同时,也带来了一些负面的影响,比如多副本在系统中存储势必会增加存储代价的开销,副本维护也会消耗部分的系统资源。本文设计了一个数据复制方案并且提出了一个基于负载均衡的数据副本放置方法:(1)复制方案中包含对副本创建时机的判断,副本数量的确定以及副本一致性维护。方案采用基于分块计算校验值的方式来验证并找出需要同步的文件之间的差异数据,在数据同步过程中只需要将两个副本的差异数据同步即可。(2)针对副本放置问题,本文提出的副本放置算法在对整个系统中所有数据中心负载做均衡操作的基础上,根据转发服务请求信息的距离决定是否需要创建新的副本节点并选取合适的放置节点。选取合适的节点过程是对数据中心的各个性能参数综合考评确定数据中心资本值,从而选取资本值最高的数据中心作为副本放置节点。仿真实验结果表明,本文提出的副本放置方法是可行性的。最后,本文借助Hadoop平台中分布式计算框架MapReduce以及分布式文件系统HDFS来设计了相关的业务场景,分别验证了本文设计的复制方案以及数据副本放置方法,验证结果表明,本文设计的复制方案和提出的副本放置方法都是可行的。
其他文献
随着移动通信技术的发展以及智能终端的普及,人们正逐步走向更加追求效率和速度的移动办公时代,尤其是云服务模式日趋成熟后,许多企业选择将电子文档存放在云端,只要有网络,
医保基金风险防控平台本质是通过数据仓库面向主题的、集成的、与时间相关的、非可变等方面的特性来存储和管理从医保各业务子系统中采集来的高质量的、表达致的、规范化的数
随着互联网的发展,人与人之间的联系越来越密切,所形成的网络也越错综繁杂。直接对其进行分析往往具有一定难度,而社团作为它的一个重要属性,能帮助我们认识网络的拓扑和层次
21世纪的今天是科技的时代,随着互联网的迅猛发展及其技术的不断深入探索,涌现出了许多大型的互联网公司以及电子商务网站,如百度、腾讯、淘宝网、京东、Amazon等,从而导致一
模糊测试是一种自动或半自动的发现软件故障的方法,具有可用性好、自动化程度高、误报率低、对目标程序源码没有依赖的优点。模糊测试如今已经成为漏洞挖掘的一门相当有效的
本论文的主要工作是在分析TI ZigBee2006协议栈结构和实现流程的基础上,根据ZigBee无线传感器网络项目的要求,设计并实现了基于树状网络的ZigBee协议栈。   论文讨论了无线
视频图像上的物体检测与识别技术通常都依赖于目标物体在形状、外观特征上的先验知识。对于这些先验知识,我们可以进行人为分析来建立具体特征上的判别规则,而这样得到的判别
中医学是我国优秀的民族文化瑰宝,几千年的传承与沉淀,形成了较为完整的独特的理论体系,是中华民族几千年文明和智慧的结晶,为人类的繁衍与健康作出了极其重要的贡献,至今仍具有强
随着现代信息处理技术的发展,图书馆也向着自动化、网络化和数字化的方向发展。但是图书馆最基础的资源体系依然是馆藏文献资料,特别是纸质文献资料。由于采用人工对馆藏资料
在分析基于Adaboost人脸检测算法和JPEG2000压缩算法原理的基础上,针对视频图像数据量大,带宽相对低的现状,提出一种人脸检测和感兴趣区域编码相结合的视频监控方案,方案采用