随着大数据时代的到来,全球每天产生的数据总量高达PB级,数据总量规模也越来越大。但是这些数据只有很少一部分经常使用,大部分数据在很长一段时间内都不会被访问。若是将所有的数据都存储到磁盘阵列中,将会带来高昂的存储成本和数据管理成本。随着光盘技术的发展,由于其单位存储成本低、容量大、安全性高、能耗低等优点,被应用到各种冷数据备份系统中。目前市场上出现一种基于光盘库的Hadoop分布式文件系统(HDFS光盘库),HDFS光盘库与传统的光盘库相比,在系统容量和数据传输速度方面都得到了很大的提升,但是仍然和磁盘之间存在很大差距。本课题正是为解决HDFS光盘库和磁盘存储设备之间的差距而进行的研究。论文首先研究HDFS光盘库系统的结构特点,以及HDFS文件系统中小文件存储优化方案,针对HDFS光盘库内合并的小文件之间关联性较低的问题,本文提出了一种基于文件名的标签分类算法,并在虚拟存储模块内根据文件标签信息设计小文件合并策略。然后研究国内外缓存替换算法和预取技术,结合文件标签信息和系统内调度对象,提出了一种基于文件标签的LB-LRU算法(Label Based Least Recently Used),该算法有效地提高了磁盘缓存系统的缓存命中率,在Cache模块内设置文件预取策略提高磁盘缓存系统的缓存命中率。最后针对传统HDFS光盘和加入磁盘缓存系统的HDFS光盘在文件读写性能和NameNode内存消耗进行性能测试,同时对磁盘缓存系统内标签分类算法和LB-LRU算法的性能进行测试,测试结果表明磁盘缓存系统可有效的提高文件读写能力,降低HDFS光盘库的内存消耗。