云环境下分布式文件系统的负载均衡研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:flish_mh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算及互联网技术的飞速发展,日益增长的信息需求与互联网之间的交互产生了海量的数据,传统的使用单台服务器存储数据的文件系统已经不能很好的满足海量数据的存储,因此需求存储大量数据的存储系统应运而生。分布式文件系统基于服务器客户端模式的设计解决了单机存储的局限性,通过多台服务器之间协同存储数据。对于云环境下海量数据的存储,分布式文件系统涉及大量的数据服务器节点和网络设备,这些节点可以分布在各个地方,节点之间的配置存在差异,随着线上任务的运行以及数据的读写,会产生节点之间数据存储的不均衡,数据存储的均衡程度对系统性能有重要的意义。因此,如何解决云环境下分布式文件系统的数据负载均衡称为了重要的研究课题。本文针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)中数据块副本存放不均衡导致系统性能降低的问题,进行了详细的研究和分析。主要从数据迁移过程中的阈值和节点匹配方案两个角度分析,分别提出了基于多变量的动态阈值调整策略和基于队列排序的改进算法。基于多变量的动态阈值调整策略是根据Hadoop集群数据节点的多方影响因素进行系统评价,通过定期循环获取磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等影响因子,形成获取阈值的计算表达式,在算法运行过程中计算阈值用于数据的迁移门限,实现自适应的动态负载均衡,提高服务器集群数据的均衡。基于队列排序的改进算法主要是针对负载均衡过程中节点匹配的随机性缺陷进行优化改进,提出节点存储列表排序的策略,将源节点存储列表和目标节点存储列表按照节点空间使用率进行排序,保证在节点选取过程的顺序性,从而使得负载较重的节点数据优先迁移到负载较轻的节点上,提高数据负载迁移过程的效率。通过理论分析和实验结果表明,相比较Hadoop静态的输入阈值的算法,动态获取阈值的方案达到了更好的平衡效果,提高了计算资源的利用率。基于队列排序的改进算法相较于Balancer在平衡的过程中效率更高。
其他文献
高考体育训练一直受到学校的重视,也把高考体育人数看作是高考人数的增长点,所以很多学校很注重这方面人才的培养,为学校的升学率做出贡献。恰好我们学校在县委县政府提出“走特
高中化学教学要注重实验的作用,实验能够促进学生能力的养成。本文以Na2CO3和NaHCO3与盐酸反应实验为例,让大家认识到试验在化学教学中的作用。
国内要闻★1月1日,中国人民政治协商会议全国委员会在全国政协礼堂举行新年茶话会。党和国家领导人出席茶话会,中共中央总书记、国家主席、中央军委主席胡锦涛在茶话会上发表
本文以环境艺术设计专业的《商业空间设计》课程为例,将职业型教育与学术型教育的设计类课程进行了比较。通过对比两者之间的培养方向、课程设置和教学方法,深入理解了职业教育
自上世纪六十年代人们以自体动静脉内瘘(arteriovenous fistulas,AVF)作为维持性血液透析(maintenance hemodialysis,MHD)患者的永久性血管通路以来,尽管此后有生物相容性很好的
搞好新闻摄影,当好摄影通讯员是要长期付出努力的。为此,简述一点体会,仅供摄影通讯员参考。   一、培养发现新闻的敏感性,力争多出新闻照片。   发现新闻的能力,就是大家常说
副刊是报纸的一个重要有机组成部分,而校报副刊在繁荣校园文化和推动校园精神文明建设等方面更是发挥着极其独特的重要作用,作为一名校报副刊编辑,笔者以为,高校校报要在新的
近几年媒体对我国多胞胎调查中发现,很多多胞胎是服用“多胎药”的结果,本文探讨人造“多胎生育”现象的出现以及其带来的种种危害,分析其在中国计划生育制度下产生这种现象的社
实现教学的有效、高效,避免教学的无效、低效,这是我们教学工作所要创造的一种较高境界,也应该成为我们各级各类学校和广大教师的自觉追求。当然,理想和现实总是有差距的,事实上,尽