随着互连网的迅猛发展,越来越丰富的信息展现在人们面前,但是面对海量的互联网资源,人们感兴趣的往往只是某一领域的专门信息。如何从纷繁芜杂的网络信息中快速准确地找到人们希望的信息,是一个意义巨大的问题。1994年开始出现的基于Web的网络爬行器自然而然地成为人们的希望所在,虽然通用网络爬行器已经给人们提供了极大的便利,但是由于它的综合性,不具备面向专业的特点,所以在准确性和速度等方面存在不足;为了提高信息服务的质量,人们开始研究面向主题的网络爬行器。本文主要研究面向主题网络爬行器的两个方面的问题,一是如何充分定义这里的主题,二是如何有效的排序爬行器的待下载链接队列中的链接,来使得只需访问很少的不相关的页面,就能够得到很多的相关的页面的链接。本文结合网页的半结构化信息特征,提出了一种新的基于内容的爬行策略,实验结果显示这是一种寻找主题相关页面很有效的方法。Blog作为一种新兴的互联网现象,正在被越来越多的人所关注,本文把Blog作为一种特殊的“主题”,设计并实现了一个面向Blog的网络爬行器。随着互联网的爆炸性增长,Web已经发展成为站点遍布全球的巨大信息服务网络。就目前互联网的规模来说,单机版的网络爬行器已无法在一个有效的时间范围内完成一次搜集整个Web的任务。分布式网络爬行器采用多机并行工作,提高整个系统的工作效率,并具有良好的可扩展性,是必然的发展趋势。本文在分布式设计中,主要考虑了节点内部多个线程的并行和节点之间的分布式并行。并重点讨论了节点之间的分布式并行,其中包括分布式网络爬行器的策略选择和动态可配置性问题两个方面。实验结果显示本文采用的站点散列法基本达到了分布式设计的目标:单台机器的搜集能力不应随着搜集机器数量的增加下降很多,即要在追求负载平衡的同时将系统的通信和管理开销降到最低。