基于改进的Map/Reduce及模式空间划分的数据挖掘

被引:5
作者
刘骞
陈明
机构
[1] 中国石油大学计算机科学与技术系
关键词
改进的Map/Reduce; 集群; 多对多映射; 模式空间划分; 模式编码; 数据挖掘;
D O I
10.19304/j.cnki.issn1000-7180.2011.08.039
中图分类号
TP311.13 [];
学科分类号
1201 ;
摘要
为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘,解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题,提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法,并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进,增强了Map/Reduce执行模式挖掘任务的能力.在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法.
引用
收藏
页码:140 / 142
页数:3
相关论文
共 1 条
[1]  
云计算:系统实例与研究现状[J]. 陈康,郑纬民.软件学报. 2009(05)