网页标题分析对主题爬虫的改进

随着网络信息资源的爆发式增长,现有的搜索引擎已经无法满足迅速获取准确信息的需要,为搜索引擎引入搜索内容更为精确的主题爬虫显得十分迫切。然而目前的主题爬虫所采用的两种基本抓取网页的方式效率比较低下。提出了一种通过网页标题分析对主题爬虫的改进方案,比较了引入标题分析前后的结果,论证了设计的可行性与可操作性,优化了主题爬虫对同类型特定信息的抓取。