MapReduce框架下并行知识约简算法模型研究

被引：18

作者：

钱进 ^{[1
,2
,3
]}

苗夺谦 ^{[1
,3
]}

张泽华 ^{[1
,3
]}

张志飞 ^{[1
,3
]}

机构：

[1] 同济大学计算机科学与技术系

[2] 江苏理工学院计算机工程学院

[3] 同济大学嵌入式系统与服务计算教育部重点实验室

来源：

计算机科学与探索 | 2013年 / 7卷 / 01期

关键词：

MapReduce; 粗糙集; 知识约简; 数据并行; 任务并行;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

面向大规模数据进行知识约简是近年来粗糙集理论研究热点。经典的知识约简算法是一次性将小数据集装入单机主存中进行约简,无法处理海量数据。深入剖析了知识约简算法中的可并行性;设计并实现了数据和任务同时并行的Map和Reduce函数,用于计算不同候选属性集导出的等价类和属性重要性;构建了一种MapReduce框架下并行知识约简算法模型,用于计算基于正区域、基于差别矩阵或基于信息熵的知识约简算法的一个约简。在Hadoop平台上进行了相关实验,实验结果表明,该并行知识约简算法模型可以高效地处理海量数据集。

引用

页码：35 / 45

页数：11

共 12 条

[1] 云计算环境下知识约简算法 [J].

钱进 ;

苗夺谦 ;

张泽华 .

计算机学报, 2011, 34 (12) :2332-2343

[2] 一个复杂度为max(O(|C||U|),O(|C||U/C|))的快速属性约简算法 [J].

徐章艳 ;

刘作鹏 ;

杨炳儒 ;

宋威 .

计算机学报, 2006, (03) :391-399

[3] 基于并行协同进化的属性约简 [J].

王立宏 ;

吴耿锋 .

计算机学报, 2003, (05) :630-635

[4] 基于条件信息熵的决策表约简 [J].

王国胤 ;

于洪 ;

杨大春 .

计算机学报, 2002, (07) :759-766

[5] 知识约简的一种启发式算法 [J].

苗夺谦 ;

胡桂荣 .

计算机研究与发展, 1999, (06) :42-45

[6] An efficient rough feature selection algorithm with a multi-granulation view [J].

Liang, Jiye ;

Wang, Feng ;

Dang, Chuangyin ;

Qian, Yuhua .

INTERNATIONAL JOURNAL OF APPROXIMATE REASONING, 2012, 53 (06) :912-926

[7] A generic parallel processing model for facilitating data mining and integration [J].

Han, Liangxiu ;

Liew, Chee Sun ;

van Hemert, Jano ;

Atkinson, Malcolm .

PARALLEL COMPUTING, 2011, 37 (03) :157-171

[8]

Positive approximation: An accelerator for attribute reduction in rough set theory[J] . Yuhua Qian,Jiye Liang,Witold Pedrycz,Chuangyin Dang.Artificial Intelligence . 2010 (9)

[9]

MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat.Communications of the ACM . 2008 (1)

[10]

The Google file system[J] . Sanjay Ghemawat,Howard Gobioff,Shun-Tak Leung.ACM SIGOPS Operating Systems Review . 2003 (5)

← 1 2 →