共 16 条
高性能网络爬虫:研究综述
被引：91
作者：
论文数: 引用数:
h-index:
机构:
李舟军
论文数: 0 引用数: 0
h-index: 0
机构: 北京航空航天大学计算机学院
机构：
[1] 北京航空航天大学计算机学院
来源：
关键词：
网络爬虫;
高性能;
可伸缩;
分布式;
D O I：
暂无
中图分类号：
TP391.3 [检索机];
学科分类号：
摘要：
网络爬虫是一种自动下载网络资源的程序,是搜索引擎的基础构件之一。系统地介绍了网络爬虫的工作原理和发展现状,详细地阐述了一个高性能、可伸缩、分布式的网络爬虫的系统架构和所面临的关键问题。
引用
收藏
页码：26 / 29+53
+53
页数：5
相关论文
共 16 条
- [1] 一种面向动态异构网络的容错非对称DHT方法[J]. 计算机研究与发展 , 2007, (06) : 905 - 913张三峰论文数: 引用数: h-index:机构:吴国新论文数: 引用数: h-index:机构:
- [2] 一种并行Crawler系统中的URL分配算法设计[J]. 计算机工程与应用, 2006, (S1) : 117 - 119万源论文数: 引用数: h-index:机构:万方论文数: 引用数: h-index:机构:王大震王大震论文数: 0 引用数: 0 h-index: 0机构: 湖北工业大学计算机科学技术系 武汉理工大学理学院
- [3] 高性能并行爬行器[J]. 计算机工程与设计, 2006, (24) : 4762 - 4766蒋宗礼论文数: 引用数: h-index:机构:赵钦赵钦论文数: 0 引用数: 0 h-index: 0机构: 北京工业大学肖华肖华论文数: 0 引用数: 0 h-index: 0机构: 北京工业大学王蕊王蕊论文数: 0 引用数: 0 h-index: 0机构: 北京工业大学
- [4] 关于搜索引擎的研究综述[J]. 计算机技术与发展, 2006, (04) : 147 - 149+152沈贺丹沈贺丹论文数: 0 引用数: 0 h-index: 0机构: 辽宁工程技术大学系统工程研究所 辽宁工程技术大学系统工程研究所潘亚楠潘亚楠论文数: 0 引用数: 0 h-index: 0机构: 辽宁石油化工大学 辽宁工程技术大学系统工程研究所邵良杉论文数: 引用数: h-index:机构:
- [5] 分布式网页排序算法及其传输模式分析[J]. 计算机工程与应用 , 2004, (29) : 182 - 187余锦余锦论文数: 0 引用数: 0 h-index: 0机构: 清华大学计算机科学与技术系史树明史树明论文数: 0 引用数: 0 h-index: 0机构: 清华大学计算机科学与技术系不详不详论文数: 0 引用数: 0 h-index: 0机构: 清华大学计算机科学与技术系
- [6] 两种对URL的散列效果很好的函数[J]. 软件学报, 2004, (02) : 179 - 184李晓明李晓明论文数: 0 引用数: 0 h-index: 0机构: 北京大学计算机科学技术系凤旺森凤旺森论文数: 0 引用数: 0 h-index: 0机构: 北京大学计算机科学技术系
- [7] 基于链接描述文本及其上下文的Web信息检索[J]. 计算机研究与发展, 2004, (01) : 221 - 226张敏张敏论文数: 0 引用数: 0 h-index: 0机构: 清华大学智能技术与系统国家重点实验室高剑峰高剑峰论文数: 0 引用数: 0 h-index: 0机构: 清华大学智能技术与系统国家重点实验室马少平马少平论文数: 0 引用数: 0 h-index: 0机构: 清华大学智能技术与系统国家重点实验室
- [8] 分布式搜索引擎的设计与实现[J]. 计算机应用, 2003, (05) : 83 - 85+88贺广宜贺广宜论文数: 0 引用数: 0 h-index: 0机构: 济南陆军学院教育技术中心罗莉罗莉论文数: 0 引用数: 0 h-index: 0机构: 济南陆军学院教育技术中心
- [9] 文本知识发现:基于信息抽取的文本挖掘[J]. 计算机科学, 2003, (01) : 63 - 66周雪忠周雪忠论文数: 0 引用数: 0 h-index: 0机构: 浙江大学计算机系吴朝晖吴朝晖论文数: 0 引用数: 0 h-index: 0机构: 浙江大学计算机系
- [10] 基于Web的百万级FTP搜索引擎的设计与实现[J]. 计算机应用, 2000, (09) : 68 - 70陈华论文数: 引用数: h-index:机构:罗昶罗昶论文数: 0 引用数: 0 h-index: 0机构: 北京大学计算机系网络与分布式系统研究室!北京王建勇论文数: 引用数: h-index:机构:段晖段晖论文数: 0 引用数: 0 h-index: 0机构: 北京大学计算机系网络与分布式系统研究室!北京薛明薛明论文数: 0 引用数: 0 h-index: 0机构: 北京大学计算机系网络与分布式系统研究室!北京