基于Hadoop的流量日志分析系统

来源 :桂林航天工业学院学报 | 被引量 : 0次 | 上传用户：liur8888

【摘要】

：

为了降低大数据研究的复杂度和成本,推进大数据研究的普及化和民用化,设计和搭建了一种简洁便利基于Hadoop网站流量日志分析系统.系统基于Hadoop集群搭建,由Flume模块和MapReduce模块分别进行日志数据地采集和预处理,并由Hive模块进行数据分析,在Web页面实现数据可视化.在数据分析部分,结合PageRank算法对流量日志进行分析.仿真实验结果表明,系统可以完成流量日志分析,具有良好的性能.

【作者】

：

李博颜靖艺

【机构】

：

桂林航天工业学院计算机科学与工程学院,广西桂林 541004;桂林信息科技学院商学院,广西桂林 541004

【出处】

：

桂林航天工业学院学报

【发表日期】

：

2021年4期

【关键词】

：

Hadoop 大数据日志分析 PageRank算法

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

乳化沥青复合冷再生混合料界面及其性能研究

为研究乳化沥青混合料的界面微观形态及其强度的影响因素,通过SEM电镜、EDS能谱仪,重点研究了微观状态下乳化沥青的界面特征,分析了水泥和RAP料掺量对混合料力学性能和路用性能的影响.结果表明:乳化沥青混合料中水泥掺量会增大混合料界面的稳定性,可提高混合料的马歇尔稳定度;RAP料掺量的增加会影响再生混合料的界面相容性,当RAP料掺量增大10％,其混合料的马歇尔稳定度降低1.6％、劈裂强度降低6.5％.

期刊

乳化沥青界面形态特征复合冷再生

基于OpenCV-Python的卷积神经网络手写数字识别研究

以卷积神经网络为基础,使用Python作为开发语言,设计基于Keras深度学习框架的手写数字识别神经网络模型.引入计算机视觉技术,运用OpenCV-Python实现实时识别手写数字.以Tensorflow-GPU作为后端,从M NIST数据集选择数据测试模型.测试结果显示该模型对手写数字具有良好的识别效果,准确率达到了99.4％以上.在现实环境下,对手写0～9的数字实时识别准确率能保持80％以上.

期刊

卷积神经网络PythonOpenCV手写数字

基于Hadoop的流量日志分析系统

其他学术论文