随着互联网的飞速发展及其影响力的不断扩大,网络上的信息量也随之不断增加。面对浩瀚如海的网络信息,通用的搜索引擎往往返回过多的无用结果。如何把信息的采集和处理转向主题化,提供面向主题的服务,让用户获得更精准的信息,是本文研究的主要内容。 本文总结和分析了Web信息采集、并行编程框架、文本分类、文本聚类等相关理论和技术,以面向教育新闻和图片两大主题为目标,实现了一个能够采集、存储和处理海量数据的教育新闻信息和Web图片的采集和处理系统。对于教育新闻信息,针对Web新闻信息的特殊性,提出了利用启发式规则来识别主题型新闻页面和目录型新闻页面的方法,具有较高的识别率。同时运用基于简单贝叶斯的自动文本分类技术以及基于Lingo算法的自动文本聚类技术,实现了教育新闻的聚合和检索功能,具有较好的用户体验。在Web图片信息的采集和处理方面,提出了基于DOM树的Web图片文本信息的提取方法,为基于内容的图片检索研究提供素材。在系统设计方面,构建了通用的面向主题的Web信息采集和处理框架,能够很容易地扩展到其他主题信息的采集和处理。同时,整个系统基于Hadoop并行框架实现,具有高性能、扩展性较强的特点。 本文通过采集、处理各类教育新闻数据来对系统进行了测试,实验结果表明,应用上述的相关处理技术后,系统在分类、聚类效果等方面都有较好的体现。