基于MapReduce的决策树算法并行化

被引：18

作者：

陆秋

程小辉

机构：

[1] 桂林理工大学信息科学与工程学院

来源：

计算机应用 | 2012年 / 32卷 / 09期

关键词：

MapReduce; 属性相似度; Hadoop; 决策树; ID3算法;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

针对传统决策树算法不能解决海量数据挖掘以及ID3算法的多值偏向问题,设计和实现了一种基于MapReduce架构的并行决策树分类算法。该算法采用属性相似度作为测试属性的选择标准来避免ID3算法的多值偏向问题,采用MapReduce模型来解决海量数据挖掘问题。在用普通PC搭建的Hadoop集群的实验结果表明:基于MapReduce的决策树算法可以处理大规模数据的分类问题,具有较好的可扩展性,在保证分类正确率的情况下能获得接近线性的加速比。

引用

页码：2463 / 2465+2469 +2469

页数：4

共 10 条

[1]

基于HADOOP的数据挖掘研究.[D].杨宸铸.重庆大学.2010, 07

[2]

基于MapReduce的聚类算法的并行化研究.[D].李应安.中山大学.2010, 02

[3] 基于Hadoop的Web日志挖掘 [J].