基于互信息的朴素贝叶斯改进模型研究

数据挖掘技术是近几十年迅速发展起来的一门交叉学科。其中的数据分类研究,由于现实生活中很多常用的决策问题都可以与分类过程相对应,其对于实际生活有很重要的现实意义。经典的朴素贝叶斯分类模型虽然是一种简单高效的分类模型。但是由于其要求属性之间满足的条件独立性假设限制性太强,使得它无法准确表达属性之间的依赖关系,进而对分类的精度产生影响。 本文在基于互信息的朴素贝叶斯分类(MI-NBC)模型中使用互信息值区分强弱属性,并进行特征选择的思想,提出了基于广义互信息的贝叶斯(GMI-NBC)模型。该模型针对每条样本记录分析,每个特征值所提供给分类的互信息指标值,并以此为依据来划分相对于本条记录的强弱属性。然后在分类开始之前删去弱属性,仅使用强属性进行分类。虽然相对MI-NBC模型,GMI-NBC对每条记录进行特征筛选,进行的特征选择次数更多,但是由于进行的是更加细粒度特征筛选,对每条记录都会留下其中最重要的特征属性,相比MI-NBC一刀切的办法更加细致,更具有针对性。最后通过在多个UCI数据集上进行实验,并比对实验结果,表明GMI-NBC模型在大部分数据集上相对MI-NBC和NBC模型有更好的分类准确度,表明了其可行性。