【摘 要】
:
随着计算机技术的发展,日志分析功能越来越受到重视,并在众多领域得到了有效应用。通过对运行日志的分析,能有效的提升维护工作效率,是系统安全方面主动防御的手段之一;分析业
论文部分内容阅读
随着计算机技术的发展,日志分析功能越来越受到重视,并在众多领域得到了有效应用。通过对运行日志的分析,能有效的提升维护工作效率,是系统安全方面主动防御的手段之一;分析业务数据日志,对于诊断和解决业务中的问题很有帮助。东信北邮公司应浙江移动客户请求,需要实现彩铃业务日志分析系统。但目前公司日志分析系统框架在性能方面不能满足客户需求。同时,许多已投入使用的业务日志分析系统,随着业务的发展,所需要处理的数据量越来越大,迫切需要提升系统的处理能力。所以,如何有效提升公司的日志分析系统的性能,既是实际项目需要也是具有工程利旧意义的研究内容。利用Hadoop实现日志分析功能是近几年该技术的发展趋势。作为Hadoop的核心组件之一的MapReduce编程模型对日志分析功能性能提升很有帮助。基于东信北邮公司技术积累,借鉴MapReduce的相关技术点,实现分布式日志分析系统,达到提升众多已使用的日志分析系统性能的目的,是本文的研究重点。本文首先介绍了分布式日志分析系统的研究背景及意义、日志分析的研究现状等知识。然后,结合Hadoop框架的工作原理以及MapReduce编程模型的相关技术和策略,对本系统中可借鉴的技术点做了详细的分析与研究。之后,利用操作维护平台项目相关技术基础,提出了分布式日志分析系统的一种实现方案。最后,基于彩铃业务日志分析实际项目需求,设计并实现了分布式彩铃业务日志分析系统。系统测试结果表明彩铃业务分布式日志分析系统实现了项目需求,分布式系统有效的提升了日志分析系统的性能。此外,分阶段实现该分布式系统,证明基于原日志分析系统框架的日志分析系统能以极少的开发代价实现分布式处理,达到利旧的目的。
其他文献
随着改革开放和市场经济的发展,我国农业发展进入转型期,为了适应目前市场经济对于农业发展提出的新要求,满足农业产业化经营的需要,农村出现了一种新型的互助合作经济组织——农
山东半岛蓝色经济区建设是一项由政府提出并推动实施,通过市场主体的有序竞争实现海洋资源合理开发和优化配置,促进海洋产业结构升级,实现区域经济发展的系统工程。明确政府
信道编码的性能从始至终都是通信领域物理层研究的重点和热点问题。从分组码到卷积码再到Turbo码和LDPC码,信道编码越来越接近随机编码而且其性能越来越接近信道编码定理中的
近年来,最初发端于广州市的“社区平价店”依托供销合作社与农民专业合作社,通过组建农产品经营公司,搭建消费者与合作社之间的桥梁,通过“生产者→运销公司→消费者”的短渠道运
传统的高校实验室大多采用人工管理模式,纸质手工记录设备原始及使用等信息。随着实验室数量增多、规模膨胀、设备种类繁多、使用频繁、精密仪器增加等,这些非自动化管理方式
<正>我国是一个多民族聚居的国家,因此方言成了我国语言文化的重要特色。在北方方言体系中,东北方言以其浓郁的地域特色而为我们所熟悉。本文以其方言中的后缀"子"为研究对象
社会在发展和进步,人类的通信方式在信息经济时代尤为重要。无线通信以其开放式的便捷性引导了人们思维方式和生活方式的改变,无线通信系统的容量将随着需求的增大达到现有通
随着互联网技术的发展和网络应用的普及,人们信息发布和信息获取更加简易便捷,可以随时随地地共享信息、展开讨论、交流看法,网络参与成为公民参与不可或缺的一部分。人们在
坚持依法治国和以德治国相结合是目前中国治国方略的科学总结,对我国高等院校大学生的思想政治教育工作有重要的指导意义。目前大学生中普遍存在着法制观念淡薄和道德水平滑
园林绿化树种作为旅游景区建设不可或缺的部分,更担当着非常重要的作用。它不仅能给旅游区带来自然优美的生态景观而且还可以调节气候、净化空气、过滤噪音。所以在旅游区合理