贝叶斯分类器研究及其在Web文档分类中的应用

Web上的信息资源有着海量、动态、异构、半结构化等显著特点,由于缺乏统一的组织和管理而显得杂乱无章,给Web检索带来了一定的困难。使用Web文档自动分类技术可以更加有效地组织和管理Web资源,提高信息检索的效率,它目前已成为Web挖掘的研究热点之一。 作为数据挖掘中的重要分类算法,贝叶斯分类器有着易于实现、工作效率高等优点。本文从贝叶斯网络入手,研究了各种基于贝叶斯网络的分类器的工作原理,按照网络中属性结点间的依赖关系将分类模型归纳为三类,重点讨论了其中有代表性的分类器的学习方法,并用贝叶斯分类器为工具研究Web文档的分类问题。 网页是Web信息的主要表现形式,其绝大多数以HTML文档形式存在。本文首先分析了Web页面的组织特点,对文本自动分类中使用到的向量空间模型、分词、特征选择等关键技术进行了深入的探讨,并实现了一个多项式朴素贝叶斯分类器对中文网页进行分类。文中在大量实验的基础上对文档频率、信息增益、互信息、开方拟和检验、文本证据权、期望交叉熵、优势率等七种文本特征选择方案进行了对比研究与分析。针对于单分类器的弱点,提出利用两种组合分类技术Boosting与Bagging实现多个文本分类器的集成以提高分类的准确率,并通过实验证实了组合方案的有效性。 最后,本文讨论了一种使用贝叶斯网络对半结构化的Web文档进行表示和分类的方法。