基于密度的局部离群点检测算法分析与研究

近年来，随着计算机技术及数据库技术的飞速发展，数据挖掘技术得到了快速发展并广泛地应用于各个领域中。数据挖掘，即从有噪声的、大量的数据中，提取出人们事先未知却又有潜在价值的知识；离群点挖掘作为数据挖掘领域中的一个重要而活跃分支，它用于从数据集中找出明显偏离其他数据对象、或不满足一般对象行为特征的对象。目前，离群数据挖掘广泛地应用于诸多领域，如电信话费欺诈分析、信用卡欺诈检测、网络攻击行为检测及极端天气气象预报等。 离群点挖掘技术最早运用于数据统计分析领域，利用统计分布等相关知识检测离群点，形成了早期的基于统计分布的离群点挖掘技术；而后，诸多专家学者提出了多种经典的离群点检测方法，有基于偏差的检测方法、基于距离的检测方法及基于密度的检测方法等；这些方法在一定程度上，能检测出适用本身算法的异常数据对象，然而均存在一些不足和缺陷，如检测效率低、检测精度不高、参数的设置依赖用户的先验知识及在高维大数据集中适用性差等。本文针对各种离群点检测方法的局限性，提出了改进的基于方形对称邻域和记忆效应的局部离群点检测算法SSMOD；具体而言，本文所作的工作主要包括以下几个方面： ①分析研究离群数据挖掘的背景和意义，探讨国内外研究现状。 ②系统而全面地分析各经典的离群点挖掘方法，重点阐述基于统计分布的、基于深度的、基于偏差的、基于聚类的和基于距离的检测方法；对各种代表性算法的优点和缺点进行分析和比较，介绍离群数据挖掘的研究热点及发展趋势。 ③基于已有的各种经典算法，如LOF、NDOD算法等，提出了改进的基于方形对称邻域和记忆效应的局部离群点检测算法SSMOD，并利用新的度量方式评估对象的离群程度及引入记忆效应思想，大大降低算法复杂度。 ④从理论分析和实验测试的角度分别评估算法SSMOD，并探讨初始参数对检测结果的影响；比较和分析算法在低维和高维空间中的检测效率及检测精度。 ⑤总结本文所作的研究工作，对离群数据挖掘的发展趋势进行预测和展望。 本文通过实验对改进算法SSMOD进行评估，实验中采用合成数据集和KDDCUP1999数据集。实验结果表明：本算法能够很好地检测出各种离群点，在检测效率及检测精度等方面均优于LOF、NDOD等算法。