论文部分内容阅读
在普及通信和网络的时代,民众对通信网络质量的要求很高。通信网设备故障不但会导致网络质量下降,还会对用户体验产生负面影响,甚至会造成经济上的损失。由此,对于通信网络质量的要求达到苛刻的程度。通信网告警是反应通信网络状态最敏感的信号。现在的通信网组网密集且复杂,单一原因引起的故障很容易产生告警风暴。现有的分析逻辑是:事先给出规则来进行告警归并和分析处理。这种方法没有办法对新的规则自动发现,无法响应新出现的各种状况;也无法有效应对通信网日益复杂的组网结构和处理告警风暴。因此,通信网告警规则的自动发现是有价值、有意义的。本文针对通信网告警数据的特点,结合关联分析算法进行分析,使得告警规则可以被主动发现。针对实际告警数据的特点和算法输入所需数据结构的要求,设计并实现从现网抽取告警数据,关联资源,过滤无效值,进行有效分组等操作,以满足数据挖掘算法的输入要求。本文采用从批处理到分布式,再到流式数据的处理方式;应用大数据与流式数据处理分析平台等技术,挖掘出相关告警规则。对于算法挖掘出的结果进行分析、归类和总结。完成界面和数据挖掘处理相关模块的设计、实现和功能测试。主要的成果有:运用软件工程的思想,结合通信网告警数据的现实分析需求,应用数据挖掘中关联分析的相关算法技术,对系统进行了需求分析、详细设计及实现,最后给出测试结果并进行分析、总结、归纳。设计并实现界面层相关模块,实现结果查看、任务下发、派发专家组等功能。实现应用频繁模式算法(Apriori、FP-Growth)、序列模式数据挖掘算法(Prefix Span)分析告警数据,得到可用的告警频繁模式和告警序列模式。设计并实现从常规数据量分析到Spark集群上基于机器学习(MLlib)包的分布式分析相关模块,实现对海量告警数据分析。设计并实现从静态到流式数据分析(Spark Streaming)相关模块,实现对告警数据流的分析。分析通信网告警数据中的频繁模式和序列模式,针对挖掘出的告警规则进行分析和归类,探索达到可以实际应用所需要的参数参考阈值。并对系统进行充分的测试,达到预期效果。