贝叶斯学习理论及其应用研究

贝叶斯学习理论使用概率去表示所有形式的不确定性,通过概率规则来实现学习和推理过程。贝叶斯学习的结果表示为随机变量的概率分布,它可以理解为我们对不同可能性的信任程度。本文介绍了贝叶斯学习理论的基本观点和它的研究现状与意义,并就贝叶斯网络的表达能力、学习过程和推理机制进行了研究和讨论。在此基础上,主要研究了贝叶斯学习理论中的几个关键问题:贝叶斯网络分类模型、主动贝叶斯分类器、基于贝叶斯潜在语义索引的文本挖掘和基于贝叶斯模型选择的聚类分析。 本文的贡献包括以下几个方面: 朴素贝叶斯分类模型和特征约简:提出了一种基于类条件分布的特征约简方法,该方法去除在各个类别中分布近似均匀的特征,从而在对概率估计影响较小的情况下,使数据的类分布熵降低。试验表明,该方法在选取与信息增益约简法同样个数的特征时,能显著提高分类的精度。同时给出了朴素贝叶斯分类模型的参数学习方法,研究了朴素贝叶斯分类器的最优性条件,指出决定贝叶斯分类的因素是最大后验概率的顺序而不是具体的后验概率估计数值。讨论了增强朴素贝叶斯性能的三种方式:增加扩展弧、选择贝叶斯分类器和提升贝叶斯分类器。 主动贝叶斯分类器:提出了一种主动贝叶斯分类模型,该模型主动的从未标注样本集中选择有利于改进分类性能的训练例子。候选的未标注样本不必与已标注的样本直接作比较,而是通过分类模型对其作出评价,同时模型的参数修正也可增量地进行。给出了基于最大最小熵的主动学习和基于不确定抽样与最小分类损失相结合的主动学习策略,讨论了增量地分类测试实例和修正分类参数的方法。人工和实际的数据实验结果表明,该方法在带有类别标注的样本较少的情况下,获得了很好的分类效果。 基于贝叶斯潜在语义分析的文本挖掘:提出了一种半监督文本挖掘算法。在贝叶斯潜在语义模型的框架下,由用户提供一定数量的潜在类别变量,而不需要任何带有类别标注的样本,将一组文档集划分到不同的类别中。它分为两个阶段:第一阶段,利用贝叶斯潜在语义分析来标注含有潜在类别变量的文档类别,第二阶段则通过朴素贝叶斯模型,结合未标注文档的知识,对剩余的文档贴标签。实验结果表明,该算法具有较高的精度与召回率。 基于贝叶斯模型选择的聚类分析:提出了一个基于贝叶斯后验概率的模型选择算法。与基于贝叶斯混合模型的聚类相比,我们给出了后验概率的直接表达式,而避免了EM迭代。对于参数的学习,我们给出了两种不同的贝叶斯估计策略:最大后验估计和条件期望估计。基于该后验模型,设计了一种层次聚类算法。通过测试,两组数据准确