【摘 要】
：
传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题。文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型。首先
【基金项目】
：
甘肃省高等学校创新基金项目,项目编号:2020B-164,甘肃政法大学校级科研资助项目,项目编号:GZFXQNLW003
论文部分内容阅读
传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题。文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型。首先,利用Filebeat组件采集各节点日志文件,根据文件分级归档管理机制对数据过滤、修剪之后发送至Kafka;然后,Kafka根据不同主题把日志流进行分组,实现分级优化存储;最后,使用Kibana工具实现日志文件的高效搜索、可视化分析等操作。实验结果表明:采用模块化设计方案降低了系统的耦合性,文件分级优化存储可以缩短数据处理时延,Kafka服务
其他文献
目的通过建立动态库存管理机制,保持血液供需总量平衡和库存结构平衡,让受血者使用更多的新鲜Rh(D)阴性血液。方法对2005～2009年潍坊市无偿献血中筛选出的合格Rh(D)阴性血液,
西尼罗病毒(WNV)属黄病毒科黄热病毒属.黄热病毒属的其它成员包括登革热病毒、扁虱热传播性脑炎、黄热病,日本脑炎和圣·路易斯大脑炎病毒.1937年Smithburn及其同事首先
目的：子宫内膜癌（Endometrial Carcinoma）是女性生殖系统常见肿瘤之一，占女性生殖道恶性肿瘤的20%-30%。近年来子宫内膜癌的发生率在全球呈上升趋势，并且发病年龄也逐渐年轻化，严重
当今国产化需求越发迫切,发展自主可控国产化元器件已成为必然趋势。本文设计并实现了基于PID算法的四开关数字电源。该电源以STM32F334为主控芯片,其它核心芯片和分离元件均
新中国成立后,民生问题作为与人民生活息息相关的现实问题,一直以来都受到全社会的广泛关注。毛泽东作为党的第一代领导人,他对于民生问题的研究和实践给我们留下了宝贵的财
对青年发展的现状和程度进行精准的评估,就必须设立青年发展指标。设立青年发展指标,既是了解青年发展诉求的民意调查,又是治理青年发展事务的科学手段。青年发展指标的设立
最近的数据表明,初次献血者的维持正在变得困难,只有不到一半的初次献血者会再次献血.事实上众多初次献血者不参加再次献血可能有多种原因,其中献血晕厥及相关不良反应是重要
May-Hegglin异常是一种具有血小板减少、巨大血小板、白细胞包涵体三联征的常染色体显性遗传病.本文综述了May-Hegglin异常在分子水平上的发病机理以及临床特征.
近些年,随着农业经济的迅速发展,其农田灌溉的用水量也在持续增加。那么,传统的灌溉技术,既不能满足现代生产的发展需求,而且还会很大程度上造成水资源浪费等情况,与此同时,
高校女硕士研究生(以下简称女研究生)的年龄阶段处在婚嫁阶段,她们的婚恋得到社会各界的关注。对她们婚恋观的研究有两个方面的意义。从实践上看,对高校女研究生婚恋观进行研