基于Spark的舆情情感大数据分析集成方法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:lsdkj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联技术的不断发展,社交媒体成为了公众分享观点和抒发情感的主要平台,在重大社会事件下对社交媒体文本进行情感分析能够有效监控舆情。针对现有中文社交媒体情感分析算法的准确性能和运行效率较低的问题,提出了一种基于Spark分布式系统的集成情感大数据分析方法(Spark Feature Weighted Stacking,S-FWS)。该方法首先基于Jieba库预分词和PMI关联度完成新词发现;然后考虑词语重要度混合提取文本特征,并使用Lasso进行特征选择;最后改进传统Stacking框架忽略特征重要度
其他文献
近年来,基于深度学习模型的图像融合方法备受关注。而传统的深度学习模型通常需要耗时长和复杂的训练过程,并且涉及参数众多。针对这些问题,文中提出了一种基于简单的深度学习模型PCANet的非下采样剪切波(Non-Subsanmpled Shearlet Transform, NSST)域多聚焦图像融合方法。首先,利用多聚焦图像训练两阶段PCANet,用于提取图像特征。然后,对输入源图像进行NSST分解,
随着智慧城市的不断发展,基于交通卡口自动获取车辆行车轨迹,为基于轨迹的车辆行为分析奠定了基础。但是,因为卡口的位置固定,车辆轨迹表示为卡口序列,所以文中首先将卡口和轨迹分别映射为单词和句子,应用语句的语义相似性方法计算轨迹相似性;然后在轨迹相似性的基础上提出轨迹熵,用轨迹熵度量某个车辆所有轨迹的规律性;最后基于轨迹熵分析车辆的行为特征,如轨迹熵低的车辆意味着行车特别有规律,很可能是通勤车。为便于用户进行深入分析,文中进一步提供了包含多联动视图的可视分析系统,允许用户观察和比较车辆轨迹和轨迹熵,结合聚类分析
人工智能(Artificial Intelligence,AI)治理是解决AI挑战的主要手段。AI治理的主要目的是充分发挥人工智能带来的优势和有效降低人工智能导致的风险,并通过整合技术、法律、政策、标准、伦理、道德、安全、经济、社会等多个方面的影响因素,最终建设负责任的人工智能(Responsible Artificial Intelligence,RAI)。AI治理可以从智能个体治理、智能群体治理以及人机合作与共生系统的治理等3个方面,分技术层、伦理层、社会及法律层等3个层面进行。AI治理的主要关键技术
随着安防需求的日益增长,人群异常行为检测已经成为计算机视觉的研究热点。人群异常行为检测旨在对监控视频中行人的行为进行建模和分析,区分出人群中的正常行为和异常行为,及时发现灾难和意外事件。文中对基于深度学习的人群异常行为检测算法进行了梳理总结。首先,针对人群异常行为检测任务及其现状进行介绍;其次,重点探讨卷积神经网络、自编码网络和生成对抗网络在人群异常行为检测任务中的研究进展;然后,列举该领域常用的
【摘要】 当前,随着微课逐渐被引入到课堂教学中,信息技术与学科教学融合的紧密程度得以不断增强,微课在初中信息技术教学中也得到广泛应用。实践表明,微课在初中信息技术教学中能够有效激发学生学习兴趣、提升学生自主学习能力。进一步地讲,在农村初中信息技术教学中应用微课,可以缩小城乡信息技术教育差距、提高信息技术教育资源配置效率、有效改善教学方式并提升教学效果。然而,微课在农村初中信息技术课程的应用中也面