基于MapReduce化的数据聚类算法的研究、设计与应用

聚类算法一直是数据挖掘中倍受关注的研究方向,它能够找出数据集中特殊的分布结构,而无需任何先验知识。近年随着网络技术及工业产业现代化发展,海量级的数据迅速出现。在经典算法逐渐无法应付的情况下,各种分布式平台出现,而算法则成为热门的研究方向。 本文首先综述了过去的一些经典算法及当前的研究改进,还有一些近年提出的聚类算法,提供了很多新的视角。随后将四种聚类挖掘算法MapReduce化,并在Google开发的分布式平台Hadoop上运行。 k-means算法为许多其他算法的辅助基础,但是其本身的许多缺陷还是无法避免,采用并行化后的k-means++算法后可以有效避免局部解的干扰。 DBScan是基于密度的经典算法之一,从点的空间结构考虑分割数据,并通过重叠的覆盖取代原算法得到聚类结果。 近邻传播算法基于对相似矩阵的处理,逐步迭代到收敛结果,并行化这一算法意味着可以处理高维大规模数据的相似矩阵。 谱聚类是较新的一种研究方向,通过对称相似矩阵特征空间将数据空间降维,然后借助k-means完成聚类结果,并行化这个过程同时也提出了计算特征向量的并行化方法。 本文最后通过实验和理论验证这些算法的可行性,同时证明借助Hadoop可以应用于普通计算机的特点,将大幅减少运算时间。