基于两级映射体系的分布式存储子系统的设计于实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:ym_l
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国家对下一代宽带无线移动网络建设的推进,能够满足各种电信业务数据要求的移动控制网络对后台的存储支持提出了越来越高的要求。传统的存储解决方案往往不能满足系统和用户对可扩展性和可用性的需求,在面对海量用户和海量文件数据的情况下更是捉襟见肘:系统规模无法适应用户与应用规模的增长,应对海量数据的处理与访问也显得力不从心。  本文首先对国内外几种主流的分布式文件系统进行了调研与介绍,面对海量用户与海量文件的应用场景,设计并实现了分布式存储系统CSTORE中的资源定位规则和数据存储模块。  CSTORE采用纯分布式的架构,将元数据与数据的分别存储在不同的集群中,并实现了一种基于两级映射的资源定位规则,结合负载均衡与数据恢复策略,能够提供较好的可扩展能力。元数据和数据的分离使得客户端对两种数据的访问分开,便于它们各自的管理与性能的优化;而集群的利用进一步促进了数据的分布式管理,避免了单点失效带来的危险。  资源定位规则建立了资源与存储数据的服务器之间的映射关系,它为客户端提供了一种可靠的寻址方法,系统中任何节点都可以使用它独立计算出资源的位置,既充分利用了客户端的资源,又减轻了服务器端的压力;它的伪随机特性和映射变换同时也为系统提供了较好的负载均衡和可扩展性。  数据存储模块为用户提供数据存储与访问服务,存储到系统中的数据按资源定位规则被分为了多个不同的资源管理单元,资源管理单元的多个副本之间两两建立心跳连接以推送数据和交换时序,在一定程度上保证了数据的可用性的同时也保证了一致性;容错方面,冗余机制保证了系统可以容忍在一定范围内的失效,数据恢复机制可以使得失效的模块能够尽快的对客户端服务。在数据存储模块中所有文件片都使用全局唯一ID对所存储的数据进行了去重处理。数据去重可以节省存储和管理成本,提高物理存储空间利用率。  本文最后对存储系统的功能和性能进行了测试,证明了它能正确执行所需功能并保证了其高效性。
其他文献
本论文主要介绍了智能化入侵检测与防御系统的设计和部分实现。虽然防火墙能通过简单的规则匹配能检测部分入侵,但对复杂的入侵检测比较困难。本人课题的目的就是尝试实现一
在使用搜索引擎检索的时候,往往会返回成千上万条记录,而且对于任何用户而言,几乎是千篇一律的。可以说,智能化、个性化严重缺乏。本文以当前国内外先进搜索技术为研究起点,
随着网络技术的快速发展和网络应用环境的不断普及,网络安全问题日益突出。在传统的加密和防火墙技术已经不能完全满足安全需求的同时,入侵检测技术作为一种全新的安全手段,越来
随着Web服务的发展,“网格”概念的提出为基于Web服务的企业柔性业务集成开辟了新的途径,目的是试图实现互联网上所有资源的全面贯通,彻底消除资源孤岛。在此基础之上,又提出
手写签名检验是当前模式识别和人工智能领域的研究热点,在公安部门、金融业和电子商务等领域有着广泛的应用前景,具有一定的社会效益和经济效益。目前在线手写签名检验技术已
SAN(Storage Area Network)是一种新型的网络存储架构,它区别于传统的用于通信的网络,优化了数据在服务器到磁盘或磁带之间的传输,提高了用SCSI协议存取磁盘数据的高可靠性和
  本文主要研究OFDM系统中的同步问题,包括时间同步和频偏估计。  本论文的主要内容如下:  第一,在深入研究定时偏差和载波频偏对OFDM系统性能影响的基础上,系统地分析了当
随着Web技术的成熟与发展,基于服务构建系统(SBS, Service Based System)已经成为了一种重要的软件开发模式。在SBS应用中,服务被部署在不同的服务器或者服务器集合中,其性能
在面向科学试验的工程领域,异构分布环境中的工程信息的集成、共享和交换,以及领域内应用系统的互操作一直都是研究的一个热点。试验信息分布式存储、描述模型不同、存储管理
本文的主要工作是通过研究序列比对算法,实现一个cDNA/mRNA序列与DNA序列的跨物种比对软件XAT(cross-Alignment Tool)。本文主要借鉴了blastz软件的跨物种方法和sim4软件的in