通信网告警规则挖掘系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:disk_
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在普及通信和网络的时代,民众对通信网络质量的要求很高。通信网设备故障不但会导致网络质量下降,还会对用户体验产生负面影响,甚至会造成经济上的损失。由此,对于通信网络质量的要求达到苛刻的程度。通信网告警是反应通信网络状态最敏感的信号。现在的通信网组网密集且复杂,单一原因引起的故障很容易产生告警风暴。现有的分析逻辑是:事先给出规则来进行告警归并和分析处理。这种方法没有办法对新的规则自动发现,无法响应新出现的各种状况;也无法有效应对通信网日益复杂的组网结构和处理告警风暴。因此,通信网告警规则的自动发现是有价值、有意义的。本文针对通信网告警数据的特点,结合关联分析算法进行分析,使得告警规则可以被主动发现。针对实际告警数据的特点和算法输入所需数据结构的要求,设计并实现从现网抽取告警数据,关联资源,过滤无效值,进行有效分组等操作,以满足数据挖掘算法的输入要求。本文采用从批处理到分布式,再到流式数据的处理方式;应用大数据与流式数据处理分析平台等技术,挖掘出相关告警规则。对于算法挖掘出的结果进行分析、归类和总结。完成界面和数据挖掘处理相关模块的设计、实现和功能测试。主要的成果有:运用软件工程的思想,结合通信网告警数据的现实分析需求,应用数据挖掘中关联分析的相关算法技术,对系统进行了需求分析、详细设计及实现,最后给出测试结果并进行分析、总结、归纳。设计并实现界面层相关模块,实现结果查看、任务下发、派发专家组等功能。实现应用频繁模式算法(Apriori、FP-Growth)、序列模式数据挖掘算法(Prefix Span)分析告警数据,得到可用的告警频繁模式和告警序列模式。设计并实现从常规数据量分析到Spark集群上基于机器学习(MLlib)包的分布式分析相关模块,实现对海量告警数据分析。设计并实现从静态到流式数据分析(Spark Streaming)相关模块,实现对告警数据流的分析。分析通信网告警数据中的频繁模式和序列模式,针对挖掘出的告警规则进行分析和归类,探索达到可以实际应用所需要的参数参考阈值。并对系统进行充分的测试,达到预期效果。
其他文献
强化学校体育是实施素质教育,促进学生全面发展的重要途径,对于促进教育现代化,建设健康中国和人力资源强国,实现中华民族伟大复兴的强国梦具有重要意义。构建“教学是基础,
本科阶段是师范生成长的关键时期,师范生的学业成就在很大程度上取决于他们在本科阶段所接受的教育和自己的努力程度。而学业成就主要通过学业成绩来反映,大学的各项评优、奖
目前,金刚石工具的制备依然采用传统的加工工艺流程,即通过人工的方式对天然金刚石进行加工工艺设计。此制备技术大大依赖于操作者的人工经验,不但过程复杂而且结果也很难准
宽禁带金属氧化物半导体在光电子技术领域具有很大的应用潜力,近些年,大量的研究已经聚焦在这些领域:如太阳能电池、光电探测器、气敏传感器、发光二极管,已经聚焦在这些材料
近40年来我国发展迅猛,城镇化进程也取得了不菲的成绩,尤其是人口与经济结构都发生了巨大的转变,国民健康也在发生着潜移默化的改变。快速发展的城镇化对人们的衣食住行产生
由于计算机的快速发展,以及互联网的广泛普及和深入使用,人们开始对个人信息隐私性的保护愈发严重。尽管在近几年中,用于确保个人隐私信息保护的多种群签名方案被提出,但对于
遥感卫星有效载荷数据模拟系统用于模拟遥感卫星载荷的电气接口和数据流,在卫星发射前对卫星地面运控系统进行全面的测试与验证,也可用于卫星地面运控系统故障排查和人员培训
高灵敏度、广通用性的生化分析方法对于生物医学、环境研究、食品学等学科的发展至关重要。电致化学发光技术在检测应用中具有灵敏度高、可控性好、分析速度快、应用范围广等
随着信息化、智能化时代的到来,计算机视觉已成为智能交通、国防和航空等领域的中流砥柱。而当今经济和科技的快速发展,使环境和空气质量每况愈下,雾霾天气频发,这又影响着户
对口援疆工作,从50年代开始,到西部大开发,再到2010年,新一轮的全国19个省市“一对一”的“精准”援助,历经了很长时间。这期间,2010年的援疆和之前的援疆无论是背景还是内涵