一种基于类别描述的TF-IDF特征选择方法的改进

【目的】对特征权重公式进行改进,提高文本分类精度。【方法】引入类内、类间信息并修正TF-IDF权重因子,得到基于类别描述的TF-IDF-CD方法。将其在偏斜文本集和均衡文本集下分别与NB、KNN等分类方法结合进行文本分类实验,比较其与TF-IDF、CTD等方法的分类精确度。【结果】TF-IDF-CD方法在特征项较少时已有很好分类效果。相比TF-IDF,在不同文本集以及不同分类方法下,其平均分类精度均有大幅提高,最低为14%,最高可达30%。与CTD相比,TF-IDF-CD与NB、SVM及DT结合后的平均分类精度均有1%-13%的提高。而在非均衡文本集下,TF-IDF-CD与KNN结合时其性能比CTD与KNN结合时低2%。【局限】TF-IDF-CD与对文本集不均衡性较敏感的KNN结合时,其抗数据偏斜能力仍需改善。【结论】实验结果表明,TF-IDF-CD特征选择方法有效,对TF-IDF的改进具有一定借鉴意义。