一种分布式的舆情分析系统架构

被引：4

作者：

黄宇鹏 ^{[1
]}

袁畅 ^{[1
]}

郝志峰 ^{[1
]}

蔡瑞初 ^{[1
]}

肖晓军 ^{[2
]}

卢宇 ^{[2
]}

机构：

[1] 广东工业大学计算机学院

[2] 广州优亿信息科技有限公司

来源：

电信科学 | 2013年 / 29卷 / 07期

关键词：

分布式系统架构; 舆情分析; 爬虫; 可视化;

D O I：

暂无

中图分类号：

TP393.09 [];

学科分类号：

080402 ;

摘要：

随着互联网数据的快速增长,针对如何对互联网数据进行有效的收集和分析,提出一种基于分布式平台的系统架构。该架构包括爬虫模块、Web模块以及分布式平台三大模块,其中爬虫模块负责数据的收集,Web模块负责简单任务的处理以及分析结果的可视化展示,分布式平台提供数据的存储以及复杂任务的计算功能,3个模块的结合为网络上海量数据的爬取、存储与分析提供了一个很好的解决方案。最后,针对社交网站新浪微博的应用案例验证了该分布式舆情分析系统架构的可用性。

引用

页码：66 / 71

页数：6