虚拟社区不良信息过滤技术研究

随着我国计算机技术的飞速发展,网络虚拟社区大量出现,网络舆论的活跃性也达到了前所未有的程度。但是,大量的网络不良信息、反动言论也在虚拟社区中出现,给社会发展造成了精神污染,给我国的国家安全带来严重的危害和挑战。对网络虚拟社区不良信息进行过滤,净化网络环境刻不容缓。 针对网络虚拟社区中不良信息的特点,本文研究了虚拟社区中不良信息的用词特征、结构特征、特征词提取以及过滤系统建模等问题。分别采用贝叶斯方法和支持向量机方法构建了虚拟社区不良信息过滤模型进行了实验对比,并设计实现了虚拟社区不良信息过滤原型系统,取得了比较好的效果。具体说来,本文的主要内容如下： 首先,针对网络虚拟社区文本特点,对虚拟社区文本进行预处理,采用正则表达式对非常规词或符号进行处理,获得待过滤的文本。根据虚拟社区文本特点,建立了停用词表,采用文档频率(DF)法的特征选择算法,选择了235个词作为虚拟社区文本过滤特征项。 其次,标记了虚拟社区不良文本训练和测试语料,分析了典型的文本分类学习算法的优缺点,采用贝叶斯和支持向量机学习算法,训练构建了虚拟社区不良文本过滤模型,并进行过滤实验。结果表明,基于支持向量机的虚拟社区不良文本过滤模型比基于贝叶斯方法的虚拟社区不良文本过滤模型具有更快的速度、更高的正确率和召回率。文本过滤正确率、召回率和F测度值分别为92%,98.7%和95.2%。 最后,利用训练获得的虚拟社区不良文本过滤模型,采用J2EE架构,设计实现了虚拟社区不良文本过滤原型系统。