我们生活在大数据时代,互联网上海量的数据为科学研究和产品开发提供了巨大的机会和潜能。如何快速而精准地在体量庞大的互联网资源中获取需要的数据一直是网络研究的热点。传统的通用搜索引擎提供的是一种粗略的查询服务,已经难以满足用户日益专业化、个性化的检索需求。主题搜索引擎只检索与特定主题相关的网络资源,能够提供更加准确和快速的搜索服务,因而成为目前搜索引擎的一个重要发展方向。网络爬虫是搜索引擎的核心组件,搜索引擎利用爬虫在互联网上自动地获取网络数据,然后对所获取的数据建立索引,以供用户进行信息查询。主题爬虫领域主要存在基于链接和基于内容的两类算法。本文首先对基于链接的HITS算法进行优化,然后对基于内容的Shark-Search算法进行改进,最后基于两个改进后的算法实现一个爬虫原型系统。主要工作总结如下:(1)基于链接的主题爬虫算法HITS的改进。针对HITS偏重旧网页,忽略新网页的重要性,以及在爬行过程中网页权值分配不佳导致最终检索到的符合主题的网页数量偏少的问题,提出改良的算法IHITS。IHITS在判断网页重要性时引入一个与时间有关的权值P(t)和网站权威度函数W(i)。P(t)根据一个网页被搜索到的时间与其最近一次被修改时间的差值越大,则网页内容的价值越低的原理对新旧网页赋予不同的权值。W(i)基于权威网站被引用频率较高,而普通网站被引用频率较低的原理对权威网站和普通网站进行区分。通过对真实互联网环境下的网络数据进行实验,实验结果表明,IHITS能够平衡互联网中新旧网页的重要程度,并能够对不同相关度的网页做出较好的区分,提高网页排名的准确率。(2)基于内容的主题爬虫算法Shark-Search的改进。针对Shark-Search在计算主题相关性时易受到噪音链接的影响且其考虑的链接上下文不能充分地判断主题相关度的问题,提出改进的算法ISS。ISS不再将链接上下文这个易受干扰的因素纳入考虑范围,改而考虑网页结构和网页标题这两个更能表征主题相关性的因子。通过对爬虫领域经常使用的ODP开放目录进行实验,实验结果表明,ISS能够降低噪音链接对相关度计算的影响,提高爬虫的抗干扰能力。(3)针对许多数据分析人员并不了解网络爬虫,从而缺乏数据源的问题。本文在以上两个改进后的算法基础上,实现一个爬虫原型系统,该系统不需要用户了解爬虫具体原理,只需简单的配置,就能自动为用户从互联网上采集想要的数据。