Web文档分类中TFIDF特征选择算法的改进

被引：4

作者：

段国仑 ^{[1
]}

谢钧 ^{[1
]}

郭蕾蕾 ^{[2
]}

王晓莹 ^{[1
]}

机构：

[1] 陆军工程大学指挥控制工程学院

[2] 陆军工程大学通信工程学院

来源：

计算机技术与发展 | 2019年 / 29卷 / 05期

关键词：

Web文档分类; 特征选择; TFIDF算法; SVM;

D O I：

暂无

中图分类号：

TP391.1 [文字信息处理];

学科分类号：

081203 ; 0835 ;

摘要：

随着海量数据资源在网络中的出现,Web文档分类技术越来越受到重视。在Web文档分类的研究中,特征选择算法有着重要的研究意义。特征选择能有效降低文本向量空间模型的维度,从而构造出更快,消耗更低的预测模型。传统的TFIDF算法仅仅依靠文档中所包含特征词的词频和逆文档频率来判断该特征词对于文档分类的重要性,忽略了特征项在类内和类间的分布以及数据集不均衡现象,从而效果受到制约。针对存在的不足进行改进,提出了类内分布因子以及类间分布因子。基于类内以及类间因子,替代逆文档频率,可以使得改进的表达式能够选择出更加高效的特征词。通过使用SVM分类器进行文本分类对比实验,与改进前的方法相比,该方法能使F1值得到一定程度的提高,在不均衡数据集上同样具有较好的分类效果。

引用

页码：49 / 53

页数：5