基于卡方统计改进的TF-IDF的文本分类的研究

<正>TF-IDF算法作为最常见的特征权重计算方法被广泛使用。传统TF-IDF特征提取方法在文本分类任务中缺乏对类之间分布差异的体现。基于此种情况,立足于传统TF-IDF算法中根据词频来选择特征词的特性,本文提出一种新的基于卡方统计的特征词提取算法并通过改进后的新方法对文本分类模型进行评估。实验结果表明,新方法在查准率、查全率、F1值和ROCAUC等评估结果上较传统特征提取方法有明显优化。