基于数据挖掘的通信网告警相关性分析研究

智能化的网络故障诊断与定位是现代网络管理的发展趋势。随着应用业务的拓展和建设规模的不断扩大,通信网变得愈来愈复杂,一个故障的产生往往会引发多个告警事件。这就要求对告警进行分析,找出它们之间的相关性,从而准确地判断故障产生的根源。传统的专家系统由于存在着知识获取的瓶颈,很难适应网络动态变化的要求。数据挖掘是近年来兴起的知识发现技术,将其应用于通信网络的故障管理,不仅具有学科领域的先进性,而且具有重要的实际意义。本文将数据挖掘技术应用到告警相关性分析中,并针对通信网及告警数据的特点(包括网络拓扑及业务的动态性、告警属性的不均匀性、网络业务具有优先级别和预示重大故障的告警数量稀少等)深入研究了告警的关联规则挖掘以及告警的预测模式挖掘等关键问题,取得的研究成果如下: 第一,提出了新的告警数据的预处理方法。为了将原始告警转化成适合挖掘的数据形式,本文设计了基于双约束的滑动时间窗口来处理原始告警,对其进行冗余信息的删除、量化和提取,最后转换成告警事务数据;针对告警属性的不平等性,并结合通信网的实际特点,提出了采用二元神经网络确定告警权值的方法,该方法既体现了专家的经验知识,又能够随着网络拓扑的变化更新神经网络的连接权,非常适合通信网的环境;将告警事务的提取方法和告警权值的确定方法集成在告警预处理专家系统中,得以更高效、更科学地完成原始告警的预处理操作。 第二,深入地研究了通信网告警关联规则的挖掘算法,提出了加权潜在频繁模式树(WPFP-tree)的结构来挖掘加权频繁模式,并提出了两种加权关联规则挖掘算法WPFPT-WARM和WPFPT-WARM*。WPFPT-WARM算法是基于WPFP-tree结构由候选项集逐步地生成加权频繁模式,而WPFPT-WARM*算法是先基于WPFP-tree寻找最大加权频繁模式,然后逐步地生成所有的加权频繁模式。实验结果证明,相对比目前的一些加权关联规则挖掘算法,基于WPFP-tree结构的加权关联规则挖掘算法具有更高的效率和更低的复杂性。其中,WPFPT-WARM算法更适合于挖掘模式较短的告警事务,算法复杂度比较低;而WPFPT-WARM*算法对于处理告警事务模式长的情况具有很高的效率。 第三,针对通信网告警数据,对增量式更新挖掘算法进行了深入研究。基于WPFPT-WARM算法,分别提出了加权支持度阈值变化时的增量式更新挖掘算法WPFPT-WARM(S)和数据库变化时的增量式更新挖掘算法WPFPT-WARM(D)。实验结果证明,本文提出的两种增量式更新挖掘算法采用了更新WPFP-tree结构的方法,可以获得比其他增量式更新挖掘算法更高的效率。 第四,研究了规则的生成和处理方法。首先提出了基于深度搜索的规则生成算法的改进方法DFS-RG';然后针对通信网告警数据之间关系不平等的特点,提出了一种基于加权频繁模式的规则生成方法WFP-RG;针对生成的部分规则存在着冗余和没有蕴含关系等问题,提出了新的规则处理方法。最后通过测试通信网告警数据,验证了规则生成算法以及规则处理方法的有效性。 第五,提出了新的基于稀疏贝叶斯的通信网告警序列预测方法APPM-SBL。APPM-SBL通过稀疏贝叶斯线性分类来学习小样本数据并产生预测模式,不仅具有支持向量机(SVM)避免过学习的优点,而且产生比SVM更高的预测性能和更少的核函数。 第六,为了验证、评估本文提出的各种算法,设计了告警相关性分析系统,实现了加权关联规则挖掘系统平台,并且在实际的通信网告警数据库中利用该系统考察了各种算法的性能。