基于孤立系数的孤立点检测研究

近几年孤立点检测研究已经成为数据挖掘的热点。孤立点检测的作用是扩展人们的感官功能,来发现那些不能被人们容易发现的知识,识别那些隐藏的重要模式。而这些知识和模式可能对人们有更大的价值,因此对于孤立点检测的研究有着重要的意义。 首先根据对象属性值的描述方式,把对象的属性分为数值型属性和非数值型属性,并针对非数值型属性提出了数值化的处理方法。为了减小传统的计算对象间距离的复杂度,在考察对象间距离时本文提出了一种新的相似距离计算方式。根据对对象相似距离的分析得到对象的相似连通性的性质,并把此性质做为缩小可疑孤立点候选集的剪枝策略。 根据聚类结果的情况,当聚类结果理想时采用基于相似距离的孤立点检测算法。该算法利用基于聚类算法得到粗糙孤立点集合,把数据集分为可疑孤立点集合和聚类集合,提高了检测结果的准确性。同时引入了聚类的平均属性值对象概念,在计算对象与聚类间距离时,用聚类平均属性值对象来代替聚类,从而大大简化了计算复杂度。而当聚类结果不好时,则采用基于参考距离的孤立点检测算法。该算法应用基于统计算法中的切比雪夫不等式理论对数据进行预处理,得到可疑孤立点集合,根据给定的参考点计算可疑孤立点的参考距离,并以此作为判断是否为孤立点的标准。 最后对基于相似距离算法和基于参考距离算法进行了仿真实验。实验结果证明两个算法具有有效性和较高的准确性。