基于Spark的并行频繁模式挖掘算法

被引：13

作者：

曹博 ^{[1
]}

倪建成 ^{[2
]}

李淋淋 ^{[1
]}

于苹苹 ^{[1
]}

姚彬修 ^{[1
]}

机构：

[1] 曲阜师范大学信息科学与工程学院

[2] 曲阜师范大学软件学院

来源：

计算机工程与应用 | 2016年 / 20期

关键词：

大数据; 频繁模式挖掘; Top-k; 模式树; 并行计算;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

在大数据环境下Apriori频繁模式挖掘算法在数据处理过程具有预先设定最小阈值、时间复杂度高等缺陷,为此采用多阶段挖掘策略实现并行化频繁模式挖掘算法PTFP-Apriori。首先将预处理数据以模式树的形式存储,通过最为频繁的k个模式得到最优阈值。然后根据该值删除预期不能成长为频繁的模式以降低计算规模,并利用弹性分布式数据集RDD完成统计项集支持度计数、候选项集生成的工作。实验分析表明相比于传统的频繁模式挖掘算法,该算法具有更高的效率以及可扩展性。

引用

页码：86 / 91

页数：6

共 5 条

[1] 一种基于FP-Growth的频繁项目集并行挖掘算法 [J].

章志刚 ;

吉根林 .

计算机工程与应用 , 2014, (02) :103-106

[2]

Hadoop实战[M]. 机械工业出版社 , 陆嘉恒, 2011

[3] Mining frequent patterns without candidate generation [J].

Han, JW ;

Pei, J ;

Yin, YW .

SIGMOD RECORD, 2000, 29 (02) :1-12

[4]

Mining association rules between sets of items in large databases[J] . Rakesh Agrawal,Tomasz Imieliński,Arun Swami.ACM SIGMOD Record . 1993 (2)

[5]

Resilient Distributed Datasets:A Fault-Tolerant Abstraction for In-Memory Cluster Computing. Zaharia M,Chowdhury M,Das T,Dave A,Justin Ma,McCauley M,Michael J F,Shenker S,Stoica I. USENIX . 2012

← 1 →