面向主题的舆情采集搜索爬虫的设计与实现

针对目前通用搜索引擎所搜索到的结果过多,与主题相关性不强的情况,提出了面向主题的搜索引擎,以舆情信息为核心研究和设计了主题搜索爬虫,为进行主题搜索引擎的研究奠定了良好的基础。 本文首先介绍了面向主题搜索引擎的背景,然后对主题舆情搜索引擎的需求进行了分析,在这基础上对系统进行了概要设计和详细设计,最后就系统实现和测试进行了一些探讨。 作为一个面向主题的舆情采集搜索爬虫,系统实现了一个基于Boltzmann行动选择策略的具有在线增量自学习能力的面向主题搜索爬虫的原型,通过控制网络蜘蛛的贪婪程度,基于Boltzmann行动选择策略进行爬行。本文引入网页信噪比的概念,并通过它衡量网页里关键词的信息是否超过一定的阈值,从而判断网页是否属于所要搜索的主题网页,来调整网页搜索的优先级。在此基础上,面向主题搜索爬虫引入在爬行过程中自动更新学习模型,当得到主题相关页面时产生回报,将回报沿链接链路反馈,更新链路上所有链接的Q值。通过这样,避免了网络蜘蛛过早陷入Web搜索空间中局部最优子空间的陷阱,同时能准确识别页面的主题相关性,具有很好的自学习能力。同时可以根据链接优先权队列中链接的价值大小比较网页搜索的优先级。 基于以上研究,本文设计并部分实现了面向主题搜索爬虫,并通过实验与其它搜索策略进行比较,证实本文提出的算法在查全率与查准率两方面都有一定的优越性,在寻找最优行动选择序列方面具有优势。但是,如何完善目前网页的权值判断机制,使网络链接价值的计算更精确,使搜索爬虫更加智能化,需要以后进一步研究。