粮食是人类的生存之本、生命之源,是人类生存下去的必备条件之一,而我国又是世界上的粮食大国,粮食的安全更是关系着国计民生、民族自立和社会稳定的全局性重大战略问题,因此粮食舆情分析是网络舆情重要研究方向之一。在网络化、信息化飞快发展的大环境下,如何有效的从网络舆情中提取粮食舆情的热点信息,对粮食舆情进行话题识别从而积极引导社会舆论,有效地控制粮食网络舆情,从而为科学决策提供有力的支撑,更好的服务粮食安全生产,这在国计民生中起着举足轻重的作用。本文从粮食网络舆情的采集和粮食舆情的文本聚类分析两个方面对粮食网络舆情进行了分析与研究,从而为相关国家粮食部门做出有效决策提供科学的依据。主要内容包括舆情信息的爬取采集、抓取策略、网页的净化过滤、文本分词、特征提取、kmeans聚类以及PCA降维前后的数据分析。本文主要工作如下:1、粮食网络舆情信息的采集本文采用基于主题的网络爬虫技术,根据特定主体,抓取主题相关度更高的网页,减少相关度低的网页干扰,同时在合理合法公开的情况下查证IP、查refer、伪装求情头的拼接以及cookie等系列反爬机制,利用网页解析技术如正则表达式、xpath、beautifulsoup来提取有效文本信息。2、粮食舆情信息的处理包括:网页净化、页面解析、内容提取、去噪排重等关键处理技术。3、粮食舆情文本分词技术、停用词的处理、特征选择、特征权重的计算比较各种中文分词技术的优劣,采用jieba库实现对文本的分词;特征提取技术的研究,非监督学习即聚类分析采用文档频率TFIDF权重计算方式提高文本聚类的准确率。4、粮食舆情分析应用研究采用经典的kmeans聚类算法对文本进行聚类分析,利用PCA算法减少了时空复杂度,与此同时进行特征选择与提取,选择重要特征删除其余特征。通过实验数据分析可知,经过PCA降维后,各项指标均达到优化目的。实验结果显示,经过舆情信息的采集、处理、分析后能有效的识别出粮食舆情文本相关话题,聚类模型的评价指数较PCA降维前都有相应的提升。对有效的掌握粮食网络舆情信息热点问题提供了一定的依据,为相关部门作出科学决策提供有效的支撑。