一种基于Hadoop平台的并行朴素贝叶斯网络舆情快速分类算法

【目的】研究Hadoop平台下一种改进的并行朴素贝叶斯算法并实现网络舆情信息分类。【应用背景】网络舆情信息存在数据量大,分散度高,数据非结构化等特点,现有技术难以实现网络舆情的准确、快速分类。【方法】利用Hadoop平台分布式数据存储与并行处理的优良特性,实现朴素贝叶斯分类算法的并行化运行;将采集的舆情文档依照HDFS架构进行本地化存储,并通过Map Reduce进程完成并行分类处理。【结果】对Map Reduce封装后的并行朴素贝叶斯分类算法进行性能测试,结果表明本算法分类效率比集中式舆情分类算法提升82%,分类准确率达到85%以上。【结论】本算法能够有效提升网络舆情分类能力与分类效率。