基于对象存储的文件系统存储策略与机制研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:jiangyubojs
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的高速发展,业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理,应用领域也由计算密集型领域逐渐转向于数据密集型领域,对存储系统的I/O性能提出了巨大的挑战。基于对象存储文件系统通过改进的存储体系结构,支持大并发的存储访问,保证了文件系统的高性能、高可用性,在高速集群网络环境下,文件的存储策略与元数据管理机制势必会影响到文件读写效率,因而研究实现更加高效、合理的分布式数据存储策略、元数据管理策略,进一步提高基于对象存储系统性能,使其更加适应于高性能计算领域和数据密集型领域的应用尤为重要。   本文以典型的基于对象存储的文件系统Lustre作为主要研究对象,具体完成以下研究工作:首先,阅读了Lustre文件系统源代码,分析其对象存储的体系结构、特点、存储机制等,并且通过多组实验对对象存储系统性能进行测试及分析,从而验证了影响系统性能的重要因素。其次,研究了现有对象存储技术中的数据存储策略,针对现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化、系统资源利用率低的问题,论文综合考虑影响系统性能的存储对象剩余空间及I/O负载等重要负载因素的实时变化,给出了一种灵活、高效、简单的负载均衡存储策略,并进行了实现,实验证明该策略能够有效地避免过载节点再次分配任务,从而有效地均衡系统负载,提高了系统整体性能。最后,本文针对现有对象存储系统中元数据管理集群缺乏灵活的负载均衡机制、元数据访问效率不高的问题,本文给出了子群的元数据管理模式,使用SUBIT结构维护子群元数据服务器与元数据层次的关系,增加负载调度的灵活性;另外,在元数据服务器内存中内嵌一层逻辑访问层、利用哈希算法提高元数据访问效率,分析结果表明了基于子群的元数据模式的合理性。相关实验和理论分析表明,针对基于对象存储文件系统的存储策略和元数据管理的研究,可以有效地提高并行文件系统的性能和吞吐率,有效地改善系统的读写效率。
其他文献
随着移动GIS技术、可定位技术、多媒体技术、无线通信技术和移动终端技术等的迅猛发展,具有可定位信息的视频越来越受到人们的关注。可定位视频是将视频数据与空间数据集成,融
软件行业的不断规范化,不断完善化也随之带动着软件测试行业的不断发展。软件测试工作也由原始的纯手工测试逐步演变为规范化,程序化也是必需化的工作。软件测试工作在软件生
随着软件复用及应用的深入研究,可复用软件构件库作为软件复用的一项重要基础设施已经越来越得到产业界与学术界的重视。构件的查询是构件库的基本功能,利用聚类技术对构件进行
随着工业的快速发展,实时系统成为了工业领域中一个重要的组成部分,在航空航天、军事、汽车、核工业等一些关键领域中,不仅要实现其系统中的功能,而且要保证其在规定的时间内
为了能够在网络带宽较低或中等的区域实现云备份应用,网络上传输的数据量应越低越好,通过对备份数据使用重复数据删除技术,能够显著降低网络传输数据量。重复数据删除的方法
本文以基于高斯模型的运动目标检测与跟踪为主要研究内容,分别给出了基于高斯背景模型的车辆检测改进算法和基于高斯模型和卡尔曼预测的检测与跟踪。本文主要内容包括以下三个
作为一种重要的蛋白激酶,AMP-activated protein kinase (AMPK)在细胞的能量代谢中发挥着中心控制作用,并有望成为治疗代谢性疾病,如糖尿病、肥胖及代谢综合征的有效靶标。因
测试与测试控制标记版本三(Test and Test Control Notation3rd version,TTCN-3)测试系统的编解码器主要负责TTCN-3数据类型与其他类型通信数据之间的数据格式转换。它是一个
蛋白质在生命活动中拥有着不可替代的功能,对蛋白质的研究也越来越重要。其中蛋白质结构类的预测在蛋白质的很多相关属性的预测中起到了重要的作用,如:蛋白质亚细胞定位、膜蛋白
人脸特征定位是指利用计算机自动的将人脸图像中的各个特征的位置定位出来。人脸特征定位在图像处理领域有着非常重要的作用,能够为人脸识别、表情分析和人脸跟踪的研究提供数