新浪微博数据挖掘方案

被引：115

作者：

廉捷 ^{[1
]}

周欣 ^{[2
]}

曹伟 ^{[2
]}

刘云 ^{[1
]}

机构：

[1] 北京交通大学通信与信息系统北京市重点实验室

[2] 中国信息安全测评中心

来源：

清华大学学报(自然科学版) | 2011年 / 51卷 / 10期

基金：

高等学校博士学科点专项科研基金; 北京市自然科学基金;

关键词：

新浪微博; 新浪API; 数据检索; 网页解析;

D O I：

10.16511/j.cnki.qhdxxb.2011.10.019

中图分类号：

TP393.092 []; TP311.13 [];

学科分类号：

080402 ; 1201 ;

摘要：

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。

引用

页码：1300 / 1305

页数：6

共 4 条

[1] 基于自动生成模板的Web信息抽取技术 [J].