基于MapReduce的朴素贝叶斯算法在新闻分类中的应用

被引：4

作者：

徐保鑫

怀丽波

崔荣一

机构：

[1] 延边大学工学院计算机科学与技术学科智能信息处理研究室

来源：

延边大学学报(自然科学版) | 2017年 / 43卷 / 01期

关键词：

Hadoop; 朴素贝叶斯; MapReduce; 文本分类; 新闻文本;

D O I：

10.16379/j.cnki.issn.1004-4353.2017.01.011

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

针对传统单点串行的分类算法在面对新闻数据规模较大、分类属性较多时存在效率低的问题,本文研究了朴素贝叶斯分类算法在MapReduce下的并行实现方法.首先对新闻信息进行分词、格式转换等预处理,然后进行特征提取、分类模型构造;最后进行了分类测试.测试结果表明,在大数据量的情况下,并行化的贝叶斯算法较传统的贝叶斯算法具有更好的执行效率和较高的扩展性.

引用

页码：55 / 59

页数：5

共 13 条

[1]

朴素贝叶斯分类及其应用研究.[D].段晶.大连海事大学.2011, 09

[2]

基于Hadoop的海量数据处理模型研究和应用.[D].朱珠.北京邮电大学.2008, 11

[3]

Deep feature weighting for naive Bayes and its application to text classification.[J].Liangxiao Jiang;Chaoqun Li;Shasha Wang;Lungan Zhang.Engineering Applications of Artificial Intelligence.2016,

[4]

新闻传播的大数据时代.[M].喻国明;李彪;杨雅;李慧娟.中国人民大学出版社.2014,

[5]

Hadoop权威指南.[M].(美) 怀特 (White;T.) ; 著.清华大学出版社.2011,

[6] 一种朴素贝叶斯文本分类算法的分布并行实现 [J].