论文部分内容阅读
随着信息技术的高速发展,业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理,应用领域也由计算密集型领域逐渐转向于数据密集型领域,对存储系统的I/O性能提出了巨大的挑战。基于对象存储文件系统通过改进的存储体系结构,支持大并发的存储访问,保证了文件系统的高性能、高可用性,在高速集群网络环境下,文件的存储策略与元数据管理机制势必会影响到文件读写效率,因而研究实现更加高效、合理的分布式数据存储策略、元数据管理策略,进一步提高基于对象存储系统性能,使其更加适应于高性能计算领域和数据密集型领域的应用尤为重要。
本文以典型的基于对象存储的文件系统Lustre作为主要研究对象,具体完成以下研究工作:首先,阅读了Lustre文件系统源代码,分析其对象存储的体系结构、特点、存储机制等,并且通过多组实验对对象存储系统性能进行测试及分析,从而验证了影响系统性能的重要因素。其次,研究了现有对象存储技术中的数据存储策略,针对现有对象存储文件系统的存储策略并未充分考虑存储对象本身负载的动态变化、系统资源利用率低的问题,论文综合考虑影响系统性能的存储对象剩余空间及I/O负载等重要负载因素的实时变化,给出了一种灵活、高效、简单的负载均衡存储策略,并进行了实现,实验证明该策略能够有效地避免过载节点再次分配任务,从而有效地均衡系统负载,提高了系统整体性能。最后,本文针对现有对象存储系统中元数据管理集群缺乏灵活的负载均衡机制、元数据访问效率不高的问题,本文给出了子群的元数据管理模式,使用SUBIT结构维护子群元数据服务器与元数据层次的关系,增加负载调度的灵活性;另外,在元数据服务器内存中内嵌一层逻辑访问层、利用哈希算法提高元数据访问效率,分析结果表明了基于子群的元数据模式的合理性。相关实验和理论分析表明,针对基于对象存储文件系统的存储策略和元数据管理的研究,可以有效地提高并行文件系统的性能和吞吐率,有效地改善系统的读写效率。