Web含有大量丰富有用的资源,搜索引擎已成为人们检索这类资源的重要工具。但是,随着信息多元化的增长,传统的通用搜索引擎返回结果过多,主题相关度差。因此,很难满足人们对个性化服务日益增长的需要。这也为通用搜索引擎提出了空前的挑战。基于此,面向特定领域、适应于特定人群的主题搜索引擎应运而生。主题爬虫是主题搜索引擎的基础与核心。它是建立在普通爬虫基础之上的,是普通爬虫在功能上的扩展。本文主要研究主题爬虫的相关技术,建立一个高校类的主题爬虫。旨在挖掘出更多的高校领域相关资源。BP人工神经网络是利用非线性可微分函数进行权值训练的多层网络。它包含了神经网络理论中最为精华的部分。由于其结构简单,可塑性强,所以,在函数逼近、模式识别、信息分类及数据压缩等领域都得到了广泛的应用。特别地,由于它的数学意义明确,学习算法步骤分明,使得应用背景更加广泛。本文主要描述了高校主题爬虫的设计与实现的全过程。如何对网页进行主题相关性的判断是主题爬虫设计中的重要内容。这里不同于目前多数采用的向量空间模型进行网页主题相关度判断的方法,而是将解决非线性问题具有较好效果的BP技术用于高校主题爬虫中,进行主题相关度的预测,指导爬虫采集高校相关信息。它的分类比线性划分更精确、更合理,网络容错性好。实验结果表明,本文设计的高校主题爬虫取得了良好的效果,具有较高的实用价值。而且比采用向量空间模型进行主题相关度判断的方法具有更高的准确率。