通用数据挖掘系统平台的设计与实现

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但又是潜在有用的信息和知识的过程。随着计算机网络化、数据库技术的迅速发展特别是数据库管理系统的广泛应用,产生了大规模数据,并呈爆炸式增长。然而,人们却无法理解并有效利用这些数据中隐含的、有价值的知识,致使其处于“数据爆炸而知识贫乏”的尴尬境地。各种各样的数据挖掘系统工具的使用正是人们摆脱这一尴尬境地的有力手段,因为数据挖掘系统工具能帮助人们智能地、自动地发现遗留在海量数据中的潜在知识,以供分析、决策之用。本课题研究的是基于数据库且支持数据挖掘标准过程、集成多种数据挖掘算法、适用于多领域的第二代数据挖掘系统平台。研究内容如下： (1)以数据挖掘理论、数据挖掘系统工具为切入点,循序渐进地分析了研究的数据挖掘系统平台应该具备的功能及特征,为其设计及实现奠定理论基础。 (2)说明数据预处理是数据挖掘系统平台中不可或缺的部分,对数据预处理的必要性、内容、主要方法进行了详细分析。 (3)对数据挖掘的分类算法、聚类算法、关联分析、预测分析进行阐述,实现了部分数据挖掘经典算法：ID3、C4.5、朴素贝叶斯分类、K-means、K-modes、最短距离法、最长距离法、DBSCAN、基于距离的孤立点分析、Apriori、线性回归分析。在论文里详细说明了ID3、朴素贝叶斯分类、K-means、Apriori、线性回归分析的基本思想、已有改进等相关内容,并以实例等方式详细说明了其实现过程。 (4)对通用数据挖掘系统平台进行设计,将其分为数据处理、数据挖掘、可视化三大模块进行详细说明。