主题搜索引擎设计与研究

由于Web上海量的信息处于不断的变化中，通用搜索引擎已经很难再为用户提供一个准确并且更新及时的信息搜索服务，其局限性在于它试图索引全部Web并且试图服务于所有主题的查询请求。而主题搜索引擎只覆盖与特定主题相关的Web区域，这样它搜索的可以更深，搜索的周期可以更短，因此能满足用户对获取信息资源快速、准确的性能要求。面向主题的搜索研究正成为越来越热门的课题。 本文首先对搜索引擎的历史、分类、发展现状及其趋势做了概要介绍；然后以搜索引擎的体系结构、工作原理为主线在全文展开我们的研究工作。我们分别对爬虫技术、HTML解析技术、分词技术做了详细的分析与研究。对页面链接、页面分布的特征也做了分析。 本文设计和实现了一个页面主题相关性判定系统。它的系统结构植根于开源软件Nutch，在健壮性与简单易用性上得到了保证。其核心思想是：把关键词加权和页面进行主题相关性判定。其中运用到了向量空间模型与关键词集技术。 本文还提出了一个较为新颖的概念：关键词和页面间的Ω—距离。形象的说就好象网络信息交互中的“电阻”将关键词所表达的真实意图和与之匹配的页面生硬的隔离开了或者说拉远了，这个概念在主题搜索领域具有独特的实用价值，可以有效地提高信息搜索匹配的智能化程度，但是在实现方面还有待进一步的突破。 本文在面向主题的搜索引擎方面进行了一些有意义的研究和尝试，并为该领域进一步的研究工作打下了基础。