云计算和Web2.0应用对分布式存储系统提出了如下性能要求:极高的聚合读写带宽，庞大的名字空间管理能力以及均衡的数据读写负载。然而现有分布式文件系统存在诸多设计和实现上的缺陷，例如扩展性差，读写性能不理想、元数据管理的性能瓶颈和数据可靠性较低等无法回避的问题，严重制约了实际应用与部署。在这种背景下，本文针对海量数据存储和管理中的元数据组织，I/O性能优化和海量数据管理等问题展开研究。本文的主要工作及创新点如下:　　(1)提出了一种基于多元数据服务器组织文件系统名字空间的方法。海量离线数据分析任务中需要处理大量文件，高效管理这些文件极为重要。我们提出并实现了两项关键技术:通过一种快速的元数据分布与映射策略确保了元数据均衡分布，以及一种改进的两阶段提交协议确保在执行跨节点操作时，系统状态能维持一致。　　(2)提出了一种海量数据管理以及文件系统动态优化的方法。现有数据副本可靠性技术主要通过心跳汇报实现，当数据块到达一定规模时，集中式块汇报机制将面临性能瓶颈问题。我们将原先的单点块汇报处理机制进行分区，实现了分布式数据块状态汇报机制，消除了原系统的性能瓶颈，获得了良好的扩展性。　　(3)提出了一种面向分布式文件系统的数据布局优化方法。对于分布式文件系统而言，数据存储布局在长期运行后可能由于热点漂移发生劣化现象，轻者影响数据读写性能，重者影响系统稳定工作并可能诱发设备故障。我们提出的方法结合了静态分配和动态迁移策略，在任务分配时和系统运行时自动均衡节点负载。实验结果证明了该方法有效实现了集群负载均衡化，消除了数据集中访问导致的I/O热点问题，一定程度上优化了上层应用性能。　　(4)提出了一种综合多种技术优化的数据加载方法。使用Map/Reduce处理海量数据的首要步骤是将数据从本地文件系统上传至HDFS。当数据规模极为庞大时，将导致严重的时间耗费以及空间浪费。我们通过文件系统间的元数据映射机制加速了数据上传过程，同时优化了主机间数据交互以及校验和生成过程。　　(5)综合上述技术实现了一种新型分布式文件系统Prism。该系统实现了可扩展的元数据管理，高吞吐率I/O操作以及动态均衡集群负载的能力。我们通过实验验证了该系统在生产应用中的实际性能，进一步检验了上述技术的有效性。