论文部分内容阅读
基于互联网的社交网络正在成为人类社会中社会关系维系和信息传播的重要渠道和载体,能够迅速形成社会舆论,对国家安全和社会发展都会产生深远的影响。对社交网络舆情进行实时有效监测,对于维护国家安全、促进经济和社会平稳发展具有重要的意义。本文建立了一个轻量级的新浪微博事件监测系统,首先对相关技术进行了研究:针对数据采集技术,探讨了网络爬虫技术和新浪微博平台自身的API的优劣势,并提出了在网络爬虫采集的基础上精简采集内容的方法;针对信息的预处理技术,探讨了信息格式化抽取方法;针对信息展示技术,探讨了信息展示平台搭建相关的技术以及数据可视化技术。随后本文对系统进行需求分析,确定了功能性需求和非功能性需求,给出了系统的功能设计和总体框架设计。本系统致力于解决三方面的问题:信息的采集、信息的分析处理以及信息的展示,并设计了两个子系统完成相应功能,包括一个负责采集、分析、处理、组织信息的子系统和一个用于数据展示的子系统,并提出了详细架构设计。接下来,本文介绍了本系统的实现,包括系统的软硬件开发环境构建;数据采集分析处理子系统和数据展示子系统的实现;以及系统功能性模块的效果展示。最后,本文总结了论文的主要工作,并对未来的工作进行了展望。