基于微博API的分布式抓取技术

被引：6

作者：

陈舜华 ^{[1
]}

王晓彤 ^{[1
]}

郝志峰 ^{[1
]}

蔡瑞初 ^{[1
]}

肖晓军 ^{[2
]}

卢宇 ^{[2
]}

机构：

[1] 广东工业大学计算机学院

[2] 广州优亿信息科技有限公司

来源：

电信科学 | 2013年 / 29卷 / 08期

关键词：

新浪微博; 爬取策略; 分布式爬取; 微博API;

D O I：

暂无

中图分类号：

TP393.092 [];

学科分类号：

080402 ;

摘要：

随着微博用户的迅猛增长,越来越多的人希望从用户的行为和微博内容中挖掘有趣的模式。针对如何对微博数据进行有效合理的采集,提出了基于微博API的分布式抓取技术,通过模拟微博登录自动授权,合理控制API的调用频次,结合任务分配控制器高效地获取微博数据。该分布式抓取技术还结合时间触发和内存数据库技术实现重复控制,避免了数据的重复爬取和重复存储,提高了系统的性能。本分布式抓取技术具有可扩展性高、任务分配明确、效率高、多种爬取策略适应不同的爬取需求等特点。新浪微博数据爬取实例验证了该技术的可行性。

引用

页码：146 / 150+155 +155

页数：6