网络爬虫技术研究

被引:20
作者
于成龙
于洪波
机构
[1] 牡丹江大学电子信息工程系
关键词
网络爬虫; 搜索引擎; 高性能;
D O I
10.16002/j.cnki.10090312.2011.03.015
中图分类号
TP391.3 [检索机];
学科分类号
摘要
网络爬虫为搜索引擎从互联网上下载网页,是搜索引擎不可或缺的组成部分。介绍网络爬虫的分类、工作原理及存在的问题,并对主题爬虫进行了详细设计,最后总结了设计高性能网络爬虫需要解决的技术难题。
引用
收藏
页码:25 / 29
页数:5
相关论文
共 6 条
  • [1] 网络爬虫技术的研究
    孙立伟
    何国辉
    吴礼发
    [J]. 电脑知识与技术, 2010, 6 (15) : 4112 - 4115
  • [2] 高性能网络爬虫:研究综述
    周德懋
    李舟军
    [J]. 计算机科学, 2009, 36 (08) : 26 - 29+53
  • [3] 基于ID3分类算法的深度网络爬虫设计
    王舜燕
    李蕾
    吴兵华
    [J]. 现代图书情报技术, 2008, (06) : 41 - 45
  • [4] 深层网络爬虫研究综述
    曾伟辉
    李淼
    曾伟辉
    [J]. 计算机系统应用, 2008, (05) : 122 - 126
  • [5] 主题爬虫关键技术研究及应用[D]. 吕赛辉.浙江工业大学. 2009
  • [6] 主题爬虫搜索策略研究[D]. 陈丛丛.山东大学. 2009