互联网的飞速发展使得网页资源呈现爆炸式增长,准确地获取用户所需的网页是现在搜索引擎需要解决的一个热点问题。在这种情况下,针对特定主题的垂直搜索引擎由此诞生。它的核心就是主题爬虫,本文通过研究主题爬虫的相关技术,引入网页分块的概念,结合主题爬虫的链接评价方法,提出一种更为有效的主题爬虫,论文的主要工作如下:(1)提出一种新的网页分块算法:在现有的多数基于“DIV+CSS”的页面设计结构下,将VIPS算法的分块规则进一步优化,根据主题爬虫的需要,提取出内容块和链接块,过滤掉网页中的无关链接与垃圾信息。然后从内容块中提取出文本信息的特征关键词,利用改进的TF-IDF加权算法,对特征关键词加权后用向量空间模型计算主题相关性。基于网页分块的内容分析方法为后续的链接评价提供了更高质量的网页URL,同时降低了无关内容的影响。(2)主题爬虫必须计算网页链接的优先级来确定主题爬虫的爬取方向。本文利用群体智能算法的基本思想,引入灰狼优化算法,通过加入动态权重的概念以及改变收敛因子的计算方法,将改进的灰狼优化算法应用于主题爬虫中,链接优先级的准确度更高,同时避免了主题爬虫陷入“局部最优”的问题,提高了全局搜索能力,并能抛弃掉无关的链接,提高了返回网页的质量。实验证明,改进的灰狼优化算法能够显著提高爬虫的准确率。(3)将两种方法结合设计主题爬虫系统,经过前期的数据准备与参数设置后,将本文使用的主题爬虫系统与基于PageRank算法的主题爬虫系统、使用Shark-Search算法构建的主题爬虫系统进行比较。对三种主题爬虫的覆盖率,准确率和信息量总和进行详细的实验分析对比,结果表明,本文提出的主题爬虫系统具有更好的性能。