BBS热点分析系统研究

BBS，即电子公告栏，是目前大众尤其是大学生钟爱的交流方式和言论重地。由于可以发表平时不敢说的言论，BBS成为了社会热点问题和学校焦点问题的发散地。但它的缺点是人们可以利用它匿名的特点发表不负责任的言论确相安无事，而且很多时候社会上的主流观点却成为了人们批判和抨击的对象。因此对BBS上的言论进行正确的舆论导向是一样很重要的工作。 网络爬虫是伴随着搜索引擎的诞生而出现的，是一个自动提取网页的程序，它为搜索引擎在Web上下载网页，是搜索引擎的关键组成部分。由于Web信息的爆炸式增长，人们获取网络信息的方式也越来越依靠搜索引擎，因此对网络爬虫的要求也越来越高。现在比较常用的几种爬虫有：聚焦爬虫、个性爬虫、分布式爬虫、主题爬虫等。 利用爬虫可以自动从网上不间断获取数据的特性，我们对某高校BBS进行大量的数据获取，对主题行为进行了详细研究，通过Matlab仿真和C#代码实现，根据现有信息预测未来主题的回帖情况，对每个帖子的未来走势进行科学预测和热点分析，从而起到协助学校BBS舆论导向的作用。 本文主要介绍网络爬虫产生和发展，各种网络爬虫的特点，重点介绍了主题爬虫的工作原理，并介绍了在此基础之上开发的热点分析系统的设计和实现。