随着互联网的快速发展,网络文化安全问题日益突出,同时网络舆情监控也变得日益重要。对于高校而言,复杂的网络环境不仅有很大的正面意义,对学校的思想教育工作也是极大的挑战,所以为了能够防微杜渐,高校需要及时掌握校园网络舆情的发展规律。BBS作为校园网内最活跃的公共平台,对于校园网BBS舆情信息的监测自然成为研究的重点,而这一课题首先需要解决的问题就是收集BBS页面数据,并提取出相关信息作为进一步舆情分析的数据基础。基于上述情况,本文首先对Web页面收集技术即网络爬虫进行了研究,并将其原理与BBS特性充分结合,提出了一个定向于校园BBS的舆情数据收集与提取系统。该系统采用正则表达式进行统一资源定位符(URL)过滤,此方法能够快速滤除不符合要求的URL。另一方面,系统将Bloom Filter算法应用到URL去重中,大大节省了已访问URL的存储空间。对于所获得的页面,系统根据它们对应URL的特征进行分类存储,然后进行模板化提取以增强系统的灵活性,其中模板采用可扩展标记语言(XML)的格式,提取规则通过标签序列和索引来实现。本文将BBS数据归为三大类,并采用不同方式收集,文章主要介绍了采用增量方式来获取更新数据的部分。最后,本文通过参数测试确定当循环间隔约为4h时,系统重复率或漏检率最低处于最佳状态。在此循环间隔下,本文还进行了系统功能测试,测试结果表明该系统能够满足需求,达到了预定目标。