互联网的飞速发展,数据量的暴增,对像Google、FaceBook、Amazon等大型互联网公司提出了巨大的技术难题——如何对海量数据进行存储管理和处理。为了应对这些挑战,Google公司提出了他们的海量数据存储和处理技术,使用分布式文件系统GFS来存储海量数据,使用MapReduce编程模型来处理海量数据。Hadoop是由Apache发起的对应于Google的GFS、Mapreduce、Bigtable三大核心技术的一个开源项目。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS的体系架构采用主从结构,一个HDFS集群由一个单一的Namenode和多个Datanode组成。Namenode是HDFS的主服务器,主要负责管理文件系统的元数据。Datanode负责存储文件的数据块。单一的Namenode节点大大简化了系统的架构。Namenode节点负责保管和管理所有的HDFS元数据,可以通过全局的信息精确定位数据块的位置并进行复制决策。但随着数据量的增长,单一的Namenode节点带来的不足不断突出,它主要存在单点失效、单点瓶颈和扩展性差几个问题。对于单点问题,国内外一些学者提出了许多优化方案。但这些方案都是在单一节点的基础上,尽力降低Namenode节点的负荷,但随着数据量的不断增长,文件数量日益增加,部署在HDFS上的应用越来越多,单一的Namenode总有一天会超出它所能承受的范围,由单一的Namenode节点演化成分布式的Namenode节点是HDFS未来发展的方向。本文主要研究基于HDFS的分布式Namenode节点模型,采用多个Namenode节点来为文件系统提供元数据的服务。对于分布式的Namenode节点,元数据的管理十分重要。本文提出一种二级元数据分布算法,将元数据信息分离成目录信息和数据块位置信息两部分,采用不同的分布策略进行分布。二级分布算法在保证高效的元数据服务的基础上,增加了元数据的负载均衡性和可扩展性。同时,为了保证元数据的可靠性,本文还提出了在Namenode集群中元数据的可靠性机制。最后,本文对二级分布算法的性能进行了测试。实验数据表明,二级分布算法在各种极端的情况下也具有很好的性能,同时还有很好的负载均衡性和可扩展性。