大数据环境下基于SVM-WNB的网络舆情分类研究

被引：17

作者：

张宸

韩夏

机构：

[1] 四川大学图书馆

来源：

统计与决策 | 2017年 / 14期

基金：

中央高校基本科研业务费专项资金资助;

关键词：

大数据; 网络舆情; Hadoop云平台; SVM-WNB算法; 并行处理;

D O I：

10.13546/j.cnki.tjyjc.2017.14.010

中图分类号：

TP18 [人工智能理论]; TP311.13 [];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ; 1201 ;

摘要：

当前网络舆情信息存在数据量大、流动快及数据非结构化等特点,难以实现对其快速、准确的分类。SVM算法和朴素贝叶斯算法都是性能优秀的传统分类算法,但无法满足快速处理海量数据。文章利用Ha-doop平台可并行处理分布式数据存储的优良特性,提出了HSVMWNB分类算法,将采集的舆情文档依照HDFS架构进行本地化存储,并通过MapReduce进程完成并行分类处理。最后利用实验验证,本算法能够有效提升网络舆情分类能力与分类效率。

引用

页码：45 / 48

页数：4

共 10 条

[1] 基于Hadoop的海量嘈杂数据决策树算法的实现 [J].