随着网络信息资源的急速增长,如何能够快速准确的在数量巨大的网络资源中获取需要的信息是网络研究的一个热点。通用搜索引擎提供的是一种粗略的检索服务,已越来越不能满足人们个性化、专业化的搜索需求。主题搜索引擎只搜索与特定主题相关的网络资源,能为用户提供更加快速、更加准确的检索服务,因而成为现代信息检索的一种趋势。网络爬虫是搜索引擎获取网络数据的重要工具,搜索引擎利用网络爬虫在网络上自动的获取网络资源,然后对所获取的资源建立索引,以供网络用户进行信息检索。论文首先介绍了通用网络爬虫的模型、原理和不足,进而介绍了聚焦爬虫的原理及其架构,详细分析了主题爬虫的关键技术,即主题搜索策略和主题相关性的计算。通过对主题爬虫原理的分析,设计了并行架构的主题爬虫系统；指出了基于内容评价搜索策略的Shark-Search算法和链接结构评价的搜索策略HITS算法的不足,设计了结合Shark—Search算法和HITS算法的搜索策略作为主题爬虫的搜索策略。已有的主题爬虫需要大量已标记的训练样本来进行离线训练,无法在爬行过程中对新的知识进行增量学习,不能很好的利用已经下载的和主题相关的网页,因而很难符合当今Web资源采集的需求。对新下载的页面在线学习可提高页面下载精度,有利于加速主题爬行过程。本文通过对增量朴素贝叶斯分类算法的研究,将增量贝叶斯分类器应用于主题爬虫主题相关度的计算中。最后采用C++语言在Linux环境下对主题爬虫进行了实现。实验结果表明,爬虫系统性能良好,可以准确的进行主题信息的自动爬取。