Master-Worker模式的并行关联规则挖掘算法

随着信息技术迅速发展,数据库的规模不断扩大,从而产生了大量的数据;如果使用传统的数据挖掘技术从庞大的数据中挖掘出有价值的规则、模式等将需要巨大的计算资源,而且会花费很长的时间;在考虑到挖掘的效率,负载平衡,运行环境,节点状态等多方面因素的基础上,文中提出了新的并行数据挖掘算法;各个并行计算单元之间采用全局通讯模式—Master-Worker模式来进行互相通信,降低了并行数据挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间;最后,通过worker节点和Master节点的实验,采用一多属性的大数据量的数据库,将实验结果与串行算法进行了比较,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性。