基于用户影响力的微博数据采集技术

被引：2

作者：

周雪 ^{[1
,2
]}

刘乃文 ^{[1
,2
]}

机构：

[1] 山东师范大学信息科学与工程学院

[2] 山东省分布式计算机软件新技术重点实验室

来源：

山东师范大学学报(自然科学版) | 2016年 / 31卷 / 02期

关键词：

新浪API; 网络爬虫; 用户影响力; 贝叶斯概率; PageRank;

D O I：

暂无

中图分类号：

TP393.092 []; TP274.2 [];

学科分类号：

摘要：

微博的使用人群数量基数大,状态信息更新频繁并且信息传播迅速,因此对微博平台上信息的挖掘具有重要意义,但是由于微博数据的海量性、突发性以及微博格式的不规则性,加大了采集数据的技术难度.在分析对比了基于Cookie爬虫微博数据采集方法和基于API接口微博数据采集方法的基础上,提出了一种基于用户影响力的微博用户信息采集方案.将每一个API调用封装成一个Task类嵌入到具有模拟登陆功能的爬虫程序中,通过贝叶斯-Pagerank算法量化微博用户之间的关注关系得到用户的影响力值,依据用户影响力值决定爬取顺序,可以在有限的时间内采集到更多有价值的节点信息.实验结果表明该方案在微博数据采集的效率与性能上都有较大提高.

引用

页码：34 / 39

页数：6

共 8 条

[1]

Comparison of microblogging service between Sina Weibo and Twitter. Chen S,Zhang H,Lin M,et al. Computer Science and Network Technology (ICCSNT),2011International Conference on . 2011

[2] 一种基于模拟登录的微博数据采集方案 [J].