随着互联网技术的飞速发展,互联网中的数据总量不断攀升,数据已经成为重要的国家基础性战略资源。由于传统存储系统难以突破存储容量的限制,分布式存储系统越来越受到业界的青睐。其中,HDFS被广泛应用于各类大数据应用系统中完成海量数据的存储。同时,随着硬件技术的快速发展,读写速度更快的存储介质不断地出现并得以应用,例如固态硬盘。因此,随着HDFS系统不断扩展和迭代演化,HDFS的集群形态由初期的同构化逐渐演变为异构化,集群中通常会同时存在多种存储介质。那么在异构集群的新常态下,如何高效地实现文件副本的读写,合理地使用各种存储介质,是异构HDFS环境下亟待解决的关键问题。然而不幸地是,HDFS设计之初就是面向同构环境考虑的,默认的副本放置策略、管理策略和检索算法都是面向同构环境设计的,它们在异构环境下存在诸多的不足。在副本放置和检索方面,HDFS在选择放置副本或提供读取服务的节点时仅仅考虑了网络距离,而未考虑节点的异构性和实时性能的差异,容易造成节点负载失衡的问题;在副本管理方面,HDFS采用静态副本管理策略,文件副本一旦完成初次放置其位置和数量便不再发生改变,没有考虑到文件访问性能将随时间发生变化,容易造成分配不合理进而导致空间浪费和系统整体性能低下的问题。为了解决这些问题,本文首先使用“文件热度值”对文件的访问特性进行量化,同时为不同热度值的文件分配不同的异构存储策略。通过定时更新文件的实时热度值,使得系统能实时感知文件访问特性的变化进而在副本位置和数量上做出相应的调整,实现文件副本的动态管理;其次,本文使用“综合负载值”对节点的实时性能进行量化,并提出了基于层次分析法的计算方法。通过定时更新节点的综合负载值,使得系统能及时地获取各个节点的实时状态,进而构建多级全局服务队列并利用基于节点服务队列的负载均衡算法完成读写请求的分发,实现数据节点层级的负载均衡。通过这样的方式,本文实现了对HDFS副本放置、管理和读取的全链条流程优化。经实验验证,优化后系统能够根据文件的访问特性变化实时地调整副本的位置和数量,HDFS的写入速度平均提高5.35%,读取速度平均提高11.84%,同时读取数据时命中固态硬盘的次数显著增加。总之,通过本文的优化,从整体上提升了HDFS系统的I/O效率,缩短了读写的时延,降低了系统的存储成本,同时也保证了系统中各节点的均衡性。