基于Storm技术的实时数据处理平台研究与实现

来源 :电脑与电信 | 被引量 : 0次 | 上传用户:ccj66417
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题,采用Storm实时计算技术,结合Flume、Kafka、Zookeeper等大数据处理组件,设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器,采用Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源,对平台进行验证,通过测试,该平台能够完成网站的点击率和访客数的实时计算,具有稳定可靠、操作简单、实时性强等特点。
其他文献
笔者回顾性总结65例瓦斯气体中毒时救治体会,报告如下:1临床资料1.1一般资料我院自1997年9月至2005年6月共收治瓦斯气体中毒65例,均为男性。年龄最大50岁,最小21岁,平均年龄39岁。
过去我国主要靠政府部门及所属开发区招商,这是招商引资1.0版本;后来通过招商中介组织开展专业化招商,这是2.0版本;目前各地多种形式的共建园区模式可称为3.0版本。招商引资3
基于博客平台的教学是网络环境下越来越重要的一种教学策略。随着网络技术、信息技术的飞速发展,极大地推动了博客教学的发展。文章介绍了博客应用于现代教学的理论依据,并结
TiAlN涂层具有硬度高、氧化温度高、热硬性好、附着力强、摩擦系数小,导热率低等优良特性。作为一种性能优异的新型涂层材料,TiAlN涂层成功的替代了TiN涂层,具有极其广阔的应
针对平方根容积卡尔曼滤波(SRCKF)在机动目标跟踪中面临测量异常和模型失准时估计精度下降的问题,提出了一种基于反馈判决的鲁棒自适应算法。利用Huber函数对观测残差序列处理获得权重向量以修正测量协方差,增强算法的抗差能力以克服测量异常问题;同时,引入多重渐消因子调整预测误差协方差,从而改变滤波增益,增强算法的自适应性以解决模型失准问题。最后,根据马氏距离构建异常误差判别因子,采用反馈判决实现2种