分布式网络爬虫的设计与实现

被引：11

作者：

吴黎兵 ^{[1
,2
]}

柯亚林 ^{[1
,2
]}

何炎祥 ^{[1
,2
]}

刘楠 ^{[2
]}

机构：

[1] 武汉大学计算机学院

[2] 信息网络安全公安部重点实验室

来源：

计算机应用与软件 | 2011年 / 28卷 / 11期

关键词：

DSpider; 系统架构; 节点协同; Web划分;

D O I：

暂无

中图分类号：

TP391.3 [检索机];

学科分类号：

081203 ; 0835 ;

摘要：

提出一种可部署于单一网域及多网域间的分布式爬虫DSpider。DSpider能够通过调整节点规模和连接超时阈值,有效部署于LAN和WAN两种网络环境中。首先简要介绍了DSpider的系统结构,然后详细分析了DSpider的任务调度策略,并且在实验中将DSpider爬虫部署在LAN和WAN两种环境中的不同性能作了详细的分析。

引用

页码：176 / 179+213 +213

页数：5