【摘 要】
:
大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时
【机 构】
:
中国人民财产保险股份有限公司大数据中心
论文部分内容阅读
大数据时代,面对爆发式增长的海量异构大数据,企业指标数据的实时供给能力亟待全面提升.基于流处理技术的大数据指标实时计算方法,主要由日志采集、消息管理、协调管理、实时处理等部分构成,使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件,综合应用了数据库日志分析,流处理、内存计算等技术.本文详细论述了采用Storm技术的大数据指标实时计算方法的技术架构,实现方法及路径,同时给出了算法验证的过程和结果分析.
其他文献
一切信仰的核心都是爱与善,教师比普通人更需要信仰,教师的一念向善将影响到更多的人。罗杰斯在《个人形成论》中有一个观点,教育就是以一个充分发展的人去影响和促进另一个
本文通过某工程实例,具体介绍了从导墙到水下混凝土灌注施工的监理过程,阐述各重点分项工程和重点工序的监理要点和难点,并证明切实落实重点和关键监理手段,使质量、进度和安全得
“工学结合”人才培养模式改革对提高高等职业教育人才培养质量和学生就业能力有着非常重要的意义。会计专业因其特殊的行业背景和岗位需求,难以全面深入推行“工学结合”人才
党的十六届六中全会第一次提出了构建社会主义核心价值体系的重大命题,党的十七大报告提出了"建设社会主义核心价值体系,增强社会主义意识形态的吸引力和凝聚力"的重要战略任务
语文课堂提问是指在语文课堂教学中,教师根据教学内容和学生实际,有目的、有计划、有步骤地设计若干问题,利用这些问题引导学生学习,培养他们的语文能力,从而达到教学目的的一种教
近几年一大批炼钢企业投资建设了煤气发电厂,目的是将工艺生产过程中产生的各种煤气回收,利用这部分热量来发电,实现效益最大化;其中最主要的回收对象就是高炉煤气。分析高炉
<正> 正确处理改革、发展、稳定三者关系,一个至关重要的问题是搞好搞活国有大中型企业。而国有大中型企业搞不好,一条很重要的原因,是由于企业肩负着职工就业、养老、医疗、
<正> 目前,广州市社会保险制度配套改革滞后,从而影响其他改革的推进。笔者就广州市社会保险工作情况及相关的改革思路,进行较为粗浅的分析,提出一些建议。基本情况广州市目
思想政治课的学科特点,使其在中学教育乃至学生的成长过程中都具有重要的作用,而长期以来在应试教育环境下形成的“副课”意识使得政治教学出现一些问题。本文就如何搞好政治教
我国土地法律体系中没有设定土地发展权,土地发展权的缺失导致征地过程中不同权利主体利益分配不公、耕地日益减少。我国应该采取土地发展权归属于土地所有者的模式,并结合国情