基于实时数据流处理的http数据分析可视化系统

来源 :电子科技大学 | 被引量 : 3次 | 上传用户:zane35
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网时代,数据量飞速增长:城市数据、医疗数据、网站数据等数据不断的产生。这些数据隐含着人们生活活动的规律和社会发展的规律,有很大的分析价值。但在这些数据中,却有大量数据因为难以保存而直接丢弃了。这些被丢弃的数据中隐含着有价值的信息,却没有得到利用。为了挖掘这些信息的隐含价值,可以使用流计算方法分析这些数据。流计算是一种数据分析方法,这种方法是实时的,它在得到数据的同时同步进行数据分析,避免了原始数据的累积。同时实时产生结果,保证了分析结果的有效性和可用性。使用流数据分析方法,可以挖掘那些难以保存的大量数据的隐含价值。用户访问网站时会产生大量http数据包。而因为http报文数据量大,冗余信息多,使用传统的存储再分析方法来分析http数据代价很大,性价比很低,所以人们访问网站时产生的http报文通常用过即丢。本文使用流计算分析方法来处理http数据,可以在有限存储容量条件下挖掘http数据的隐含价值。本文的研究方向是从http报文中实时分析网站的用户行为数据,包含用户pv/uv、访问深度、停留时间、地理位置、搜索关键词等。实时显示分析结果。分析产生的用户行为数据可以指导网站的决策、引导网站的建设、验证网站的营销成果、支持上层多维用户行为分析。本文的主要贡献有三个方面:一是通过nodejs技术和redis技术编码完成了一套流数据分析程序;二是设计并实现了一套从http报文中分析用户行为数据的拓扑流程,其中多个分析节点(pv/uv、来源网站、关键词、访问深度、停留时间、地理位置)按流水线分布;三是设计了数个用户行为分析算法,算法功能为从输入的流数据中分析计算用户的pv/uv、访问深度、停留时间等。
其他文献
在中国教育改革不断深入的背景下,培养幼儿的合作能力以及交往能力,对于他们未来的发展格外重要。本文就当前幼儿合作能力以及交往能力的培养策略进行探究,希望通过研究对实
目的:为我国药品流通领域"两票制"政策的有效落实提供政策建议。方法:通过分析我国药品流通领域的现行模式及存在的问题,了解"两票制"的实施背景;同时,梳理并总结了"两票制"
药品购销"两票制"的推行有利于压缩药品流通环节、提高产业集中度,但实际推行中还面临许多问题及困难,尤其是票据管理中的难点问题,需要结合实际,探讨解决的具体方法。
大肌肉动作技能是指:"由躯干、四肢等大肌肉群发力而产生的动作技能,包括在空间移动身体的技能(位移技能)和控制物体的技能"。大肌肉动作是人体各种感觉动作的基础,它是人体
乌兰托嘎是蒙古族优秀的作曲家之一,他创作的许多脍炙人口的作品流传甚广,凭借着高尚的人格魅力和作品深刻的艺术感染力在国内外音乐界享有盛誉。乌兰托嘎在音乐创作上始终坚
介绍网络安全态势感知技术,研究安全态势感知模型及指标体系,提出了安全态势感知及主动预警系统的设计方案,从数据采集、大数据存储优化技术、关联分析实现等方面分析该系统
近年来,随着我国社会经济的不断发展,计算机技术以及互联网技术水平得到了不断提高。同时,互联网技术在实际工作以及生活中的各个领域得到了较为广泛的应用,其中便具有在文化
乙型肝炎(乙肝)是全球性的公共卫生问题,感染率在不同人群中差异大,优势基因型也各不相同。乙型肝炎病毒(HBV)感染率的变化和分子流行病学特征对乙肝防控至关重要。本文讨论H
本文在比较研究各种考勤系统的基础上,阐述了一种基于Android平台和蓝牙技术,可以使教师随时随地进行课堂考勤的移动考勤系统,总结了该系统的优势与问题,并对移动互联技术在