随着科技的发展,我们身边的数据与信息正以爆炸的方式生成。面对着海量的数据,如何存储与分析它们,如何保证数据的访问速度,将会是一个新的问题。云计算是解决这一问题的新方式,它是一种基于因特网的超级计算模式,在远程的数据中心,几万甚至几千万台电脑和服务器连接成一片,利用计算机集群的力量,提供计算与存储服务。Hadoop框架是实现云计算的一种主要可选方式之一。Hadoop作为一种开源的分布式的基础架构,它的系统文件为HDFS,是一种分布式的文件系统。HDFS有许多特点,如数据可靠性、流式的数据访问、支持大数据集等,而HDFS是能运行在廉价通用硬件上的,这意味着硬件的错误将会是常态而非异常。为了保证数据的可靠性,HDFS采取的存储策略是冗余存储。冗余存储即对需要备份的数据采取多个副本进行存储。冗余存储涉及到副本存放策略,这是决定分布式文件系统性能的关键,因而存在着很大的优化空间。本篇文章将从研究HDFS文件系统的系统架构、存储策略以及实现原理入手,并提出优化方案。主要工作包括以下几个方面:(1)搭建基于Hadoop的云计算平台。Hadoop平台是一个已经可以投入使用的较完善的云计算平台,为了研究HDFS文件系统的架构原理,应搭建建立在计算机集群上的云计算平台,了解HDFS文件管理系统的使用方式,为验证性实验做好准备。(2)研究文件系统HDFS的存储原理,分析其存储策略。Hadoop是一个开源的项目,这对于开发者是一个很好的契机,可以从源代码入手,研究Hadoop及其文件系统HDFS的框架与结构,研究文件系统的存储策略。(3)提出新的存储策略。在充分研究了HDFS本身的存储策略之后,提出新的存储策略:多维约束策略,即对于一个节点的选择,增加考虑了节点的CPU性能、内存剩余率、网络带宽信息,以提高系统的性能,达到优化系统的目的。(4)将新的存储策略应体现在实际的代码工作中,并设计实验,检验新策略的可实用性。分布式数据复制技术,是分布式计算的一个重要组成部分。该技术允许数据在多个服务器端共享,一个本地服务器可以存取不同物理地点的远程服务器上的数据,也可以使所有的服务器均持有数据的拷贝。