基于Hadoop平台的数据挖掘算法应用研究

被引:17
作者
陈娥祥
机构
[1] 福建农林大学东方学院
关键词
Hadoop平台; 数据挖掘; 聚类算法; 贝叶斯算法;
D O I
10.13831/j.cnki.issn.1673-0569.2018.03.014
中图分类号
TP311.13 [];
学科分类号
摘要
Hadoop平台是一个开源的计算机集群系统,它能快速处理海量的数据,且具备低成本、高效率、高扩展、高可靠、高容错的优势.基于Hadoop平台探索了数据挖掘算法的应用,详细阐述了Hadoop平台的基本组成原理以及运行机制,探索了相关的数据挖掘算法.基于MapReduce的K-Modes聚类数据挖掘算法具备较好的自适应性,利用簇众数来取代中心节点,提高了算法效率;基于Hadoop平台的分类算法采用朴素贝叶斯算法来实现数据挖掘过程,实验结果表明它完全适应在大数据环境下的数据处理,节约了时间,提高了算法运行效率.
引用
收藏
页码:274 / 280
页数:7
相关论文
共 10 条
[1]
企业级大数据平台框架设计方法研究 [J].
尹航 ;
谢汶姝 ;
刘俊涛 ;
单崇喆 ;
何枫 .
计算机与网络, 2018, 44 (11) :65-68
[2]
基于Hadoop平台的数据挖掘系统的分析与设计 [J].
李燕梅 .
电脑与信息技术, 2018, 26 (02) :20-22+58
[3]
大数据分析平台Hadoop的关键技术 [J].
刘红敏 .
电子技术与软件工程, 2018, (04) :162
[4]
基于云计算的Web数据挖掘Hadoop仿真平台研究 [J].
王勃 ;
徐静 .
电子设计工程, 2018, 26 (02) :22-25
[5]
大数据环境下基于Hadoop框架的数据挖掘算法的研究与实现 [J].
洪波 ;
吕燕霞 ;
黄磊 .
电子设计工程, 2017, 25 (07) :41-44
[7]
一种基于Hadoop云计算平台大数据聚类算法设计 [J].
司福明 ;
卜天然 .
通化师范学院学报, 2016, 37 (04) :9-12+65
[8]
基于Hadoop平台的并行化数据分类算法研究 [J].
黄黎 ;
顾筠 .
制造业自动化, 2014, 36 (14) :5-9
[9]
基于Hadoop平台的数据挖掘技术研究 [J].
宋伟 .
电子制作, 2014, (12) :76-77
[10]
基于MapReduce的数据挖掘平台设计与实现 [J].
黄斌 ;
许舒人 ;
蒲卫 .
计算机工程与设计, 2013, 34 (02) :495-501