互联网舆情信息管控关键技术研究与实现

本文针对互联网信息内容新、变化快和新类别层出不穷的特点,对舆情信息管控领域的几个关键技术做了较为深入的研究,设计了中文文本聚类模型CTCM。 本文首先对中文分词技术、文本特征选取、汉语语言构成及分词词表进行分析,提出并实现了基于正向最大匹配的新词发现,该算法可及时发现任意长度的热点词汇,可实现动态调整词表。 其次,通过对各种聚类算法的分析、比较与实验,针对互联网舆情信息管控领域的特点,本文创新性的提出了基于密度与CFK-Means相结合的聚类算法—DK算法,既极大地降低了计算复杂度和计算时间,又克服了单纯采用K-Means算法依赖初始聚类数和初始聚类中心点的缺陷。大量的实验数据显示,DK算法显著提高了聚类速度和准确率。 最后,本文将文本聚类的思想引入类描述信息的自动生成,将每个段落看成是一个篇幅较小的文本,计算类与文本的相似程度,找出与类相似程度最高的段和语句,从而确定类的描述信息。 通过测试,证明本文设计实现的中文文本聚类系统实现了对于互联网舆情信息热点的及时发现、及时分类,有效的改善了网络管控的效果。