BBS舆情系统的数据采集方法

被引：13

作者：

赵颖斯

刘云

机构：

[1] 北京交通大学通信与信息系统北京市重点实验室

来源：

电信快报 | 2008年 / 12期

关键词：

电子公告板; 网络舆情; 数据采集; 分布式存储;

D O I：

暂无

中图分类号：

TP393.094 [];

学科分类号：

摘要：

互联网的广泛应用使得网络舆论成为社会舆论的重要组成部分,如何实现对网络舆论的监测成为当前的研究热点。文章研究了以电子公告板系统(BBS)为对象的舆情监测系统的功能和结构,重点讨论了系统中的数据采集部分,给出了解决数据采集性能的URL队列管理、抓取线程管理、冗余URL排除、页面过滤和解析以及数据的分布式存储等问题的方法。

引用

页码：22 / 24

页数：3