云计算支持下的数据挖掘算法及其应用

数据挖掘（Data Mining，DM），一直是数据库和人工智能领域持续的热点研究问题。经过二十余年的发展，数据挖掘在各个领域的应用已经非常广泛。但是随着计算机技术以及网络技术的发展，信息量、数据量越来越庞大，这些大量的信息在帮助人们更好的生活工作的同时，也加大了人们从中发现有效知识的难度。而且这些海量数据也并非简单整齐地排列分布在数量有限的设备上，它们往往是以各种复杂、异构的模式，充满信息噪声的存在于整个网络之中，要处理并分析这些数据，所要求的计算能力往往很难在限定的时间范围内达到要求，甚至连传统的分布式计算机集群也未必能满足。 云计算的概念天然地为海量数据的存储、分析及处理提供了现实可行性。本文首先介绍、分析了云存储、云计算平台的系统架构，研究了其运行机制。而后基于传统的数据挖掘算法，提出了将经典数据挖掘算法Apriori、K-Means云计算化的一个方案，并基于Map/Reduce框架构建了Apriori、K-Means云计算化的系统模型。最后在Hadoop分布式集群中以海量数据对Map/Reduce化后的Apriori及K-Means算法进行了实验，测试了算法的性能及效率，探讨了对于海量数据挖掘耗时长、效率低的问题，取得了一定的成果。