基于Lucene的搜索引擎技术的研究与改进

搜索引擎已经成为人们获取网络信息的主要工具，全文检索技术是学者研究的热点。Lucene是一个用Java写的全文索引／检索工具包，它可以方便地嵌入到各种应用中，实现针对具体应用的全文搜索引擎功能，近年在世界各地被广泛使用。 Robot是web搜索引擎的数据来源，它的性能直接影响了资源采集的数量与质量，因此Robot是搜索引擎的一个很重要的部分。Lucene本身没有提供Robot，本论文在介绍搜索引擎有关技术和Lucene工具包的基础上，研究和实现了一个可由用户设定线程数目的多线程的Robot。该Robot可以作为Lucene的扩展。 本论文还针对Lucene在检索结果排序算法方面的不足进行了改进。由于检索结果的排序对搜索引擎来说也十分重要，用户往往只对最前面的几条结果感兴趣，如何在众多的结果中将重要的结果排在前面，是搜索引擎研究的重点之一。改进后的排序方案除了原Lucene考虑到的词频因素还考虑了：网页文档的链接情况、网页的响应时间、正文大小以及用户查询关键词在文档特殊位置的情况等。试验表明改进后的排序算法较原排序算法有较明显的改善。 在上述工作的基础上，论文最后实现了一个完整的搜索引擎，并对Robot的性能和对Lutene改进后的检索结果排序算法进行了测试和评价。