随着网络在世界范围内的飞速发展,互联网作为最具潜力与活力的新兴媒体已被公认为是继报纸、广播、电视之后的“第四媒体”,成为反映社会新闻热点的重要载体。为了及时了解网络新闻热点,尤其是与教育主题相关的新闻热点和发展动向,相关机构引入了教育领域专用新闻热点分析系统。本文设计与实现的网络主题爬虫系统是新闻热点分析系统中的数据源,负责教育领域内新闻信息的采集。传统的网络爬虫为搜索引擎服务,但无法满足指定主题的应用需要,主题爬虫则是有选择性地爬取主题相关的网页。本文深入研究了主题爬虫的特点、工作流程和体系架构,提出了一种面向教育新闻的爬虫系统总体架构设计,并在此基础上设计了爬虫系统的各个模块。本文借助爬虫领域的相关技术和工具,结合新闻热点分析系统的需求,从原理或工作流程上详细论述了爬虫系统中核心模块的具体实现。论文所做的工作主要包括:首先,针对重点关注主要站点的问题,本文设计了一种基于权重模型的爬取策略。其次,为了提高超链接抽取效率,本文采取了基于XPath的超链接精确抽取策略。最后,针对爬虫重复爬取的问题,本文设计了基于Berkeley DB的避免重复爬取策略。本文通过对爬虫系统运行结果的分析,表明爬虫系统能够稳定地运行,持续为新闻热点分析系统提供数据。爬虫系统满足设计需求,取得了令人满意的效果,论文中基于XPath的超链接抽取策略和基于Berkeley DB的避免重复爬取策略对于主题爬虫的实现具有实际的借鉴意义。