KNN分类算法的MapReduce并行化实现

被引：54

作者：

闫永刚 ^{[1
]}

马廷淮 ^{[1
,2
]}

王建 ^{[3
]}

机构：

[1] 南京信息工程大学计算机与软件学院

[2] 南京信息工程大学江苏省网络监控中心

[3] 南京大学电子科学与工程学院

来源：

南京航空航天大学学报 | 2013年 / 45卷 / 04期

基金：

中国博士后科学基金;

关键词：

KNN分类; 并行计算; Map Reduce模型; Hadoop;

D O I：

10.16356/j.1005-2615.2013.04.006

中图分类号：

TP311.13 [];

学科分类号：

摘要：

为了提高k-nearest neighbor algorithm(KNN)算法处理大数据集的能力,本文利用Map Reduce并行编程模型,同时结合KNN算法自身的特点,给出了KNN算法在Hadoop平台下的并行化实现。通过设计Map、Combine和Reduce 3个函数,实现了KNN算法的并行化。Map函数完成每个测试样本与训练样本之间的相似度计算,Combine函数作为一个本地的Reduce操作,用以减少中间计算量及通信开销,Reduce函数则根据上述函数得到的中间结果计算出k近邻并作出分类判断。实验结果表明:较之以往的单机版方法,在Hadoop集群上实现的并行化KNN算法具有较好的加速比和良好的扩展性。

引用

页码：550 / 555

页数：6

共 9 条

[1]

云计算在基于贝叶斯分类的垃圾短信过滤中的研究与应用 [D].