论文部分内容阅读
随着电信网络技术的持续发展,电信网络资源产生异构性和动态性,导致网络管理系统中的功能越来越精细和复杂。电信网络系统中会实时生成海量告警数据,通常对告警的梳理方法是管理系统监测到某个故障引发告警,把告警的信息呈现给网管人员。由于一个故障的产生可以导致不同的设备产生不同的多个告警,然而并不是每个产生告警的信息都可以描述故障根本原因,给告警管理系统中准确定位产生的故障带来挑战。传统的网络管理系统和网管人员对产生故障诊断、定位和恢复,仅仅根据自己的经验和系统中有限的功能。随着电信网络的规模不断扩大和演变,个人的知识和经验已经无法满足电信网管告警处理的需求。数据挖掘为电信网络告警分析提供了新的方法,在电信网络向集群架构发展的情况下,基于Hadoop的MapReduce模型实现数据挖掘算法的并行化进一步优化了海量告警数据分析的性能。本文首先对电信网络系统中故障告警相关性概述;介绍了电信网络故障与告警的概念;研究告警相关性分析的方法;探讨了数据挖掘算法在网络系统中的具体应用。其次对Hadoop平台概述;研究和分析了MapReduce编程模型的架构和运行流程;详细论述了Apriori算法及其在Hadoop平台的并行化,提出了可变多阶段并行算法VMSPA,根据相邻两次迭代过程中产生的频繁项集的数量对比动态切换简单并行Apriori算法和VMSPA算法的应用,在VMSPA算法中动态更新同时产生的候选项集的数量来避免频繁扫描事务数据库,从而提高了算法的性能。最后将可变多阶段并行算法应用于电信网管告警相关性分析中。经过对算法的性能进行实验分析验证了算法的有效性,通过在告警相关性分析中的应用验证了算法具有一定的实用价值。