海量URL快速存储和访问是高性能web爬虫的基础,由于web爬虫需要根据一定的策略将URL按照一定的顺序进行抓取,因此,为了快速查找,URL往往被保存在关系数据库中。但是当数据库中数据的数量规模很大时,关系数据库往往不能满足爬虫对海量URL数据存取的需求。这个也是提高web爬虫性能的瓶颈所在。本文的研究是为了解决海量URL存取的性能瓶颈问题。通过对聚焦爬虫在实际环境中爬行的过程进行深入的剖析,明确了爬虫对海量URL数据存取的技术需求。针对这些技术需求我们进行了深入的研究,并在研究的成果上提出了面向海量URL存取的快速文件系统。根据功能文件系统分为逻辑存取模型和物理存取模型,并最终能够取得满足爬虫需求的效果。本文的主要贡献有:1)以B+树作为快速文件系统逻辑存取模型的索引,并且以域名和URL的哈希值联合作为B+树的索引关键字,提高了URL记录查询的效率。并且通过叶子节点平移的延迟分裂方法优化了B+树的空间利用效率。2)在物理模型中,通过分析web爬虫对URL的需求,在URL访问的局部性原理,硬盘的顺序读写,web爬虫抓取网页的可重现性和延迟写技术的理论基础之上,对缓存技术做了适当的优化,大大的减少了I/O的访问,提高了效率。3)本文设了一个面向海量URL的快速文件系统,并实现了快速文件系统的原型,该系统实现了上述讨论的所有功能,为以后URL的存储的研究打下了坚实的基础。