一种基于KL散度和类分离策略的特征选择算法

被引:12
作者
李晓艳 [1 ]
张子刚 [1 ]
张逸石 [1 ]
张谧 [2 ]
机构
[1] 华中科技大学管理学院
[2] 重庆邮电大学经济管理学院
关键词
特征选择; KL散度; 类分离策略; 有效距离;
D O I
暂无
中图分类号
TP181 [自动推理、机器学习];
学科分类号
摘要
特征选择是模式识别和机器学习中的重要环节之一,所选特征子集的质量直接影响着分类学习算法的效率及准确率。现有特征选择算法均在整个类标签集的视角下进行特征评价,并未分别考察每一类别与特征间的关系。提出了一种基于KL散度和类分离策略的特征选择算法,它采用类分离策略分别对类标签中每一类别与特征间的关系予以考察,并采用一种基于KL散度的有效距离度量类别与特征间的相关性以及特征之间的冗余性。实验结果表明,所提算法具有较高的运行效率;在所选特征质量上,所提算法显著优于经典的CFS、FCBF以及ReliefF特征选择算法。
引用
收藏
页码:224 / 227
页数:4
相关论文
共 6 条
[1]   基于最小联合互信息亏损的最优特征选择算法 [J].
张逸石 ;
陈传波 .
计算机科学, 2011, 38 (12) :200-205
[2]   DPFS:一种基于动态规划的文本特征选择算法 [J].
任永功 ;
林楠 .
计算机科学, 2009, 36 (06) :188-191
[3]   An Improved IAMB Algorithm for Markov Blanket Discovery [J].
Zhang, Yishi ;
Zhang, Zigang ;
Liu, Kaijun ;
Qian, Gangyi .
JOURNAL OF COMPUTERS, 2010, 5 (11) :1755-1761
[4]   Supervised feature selection by clustering using conditional mutual information-based distances [J].
Martinez Sotoca, Jose ;
Pla, Filiberto .
PATTERN RECOGNITION, 2010, 43 (06) :2068-2081
[5]   CHOICE OF NEIGHBOR ORDER IN NEAREST-NEIGHBOR CLASSIFICATION [J].
Hall, Peter ;
Park, Byeong U. ;
Samworth, Richard J. .
ANNALS OF STATISTICS, 2008, 36 (05) :2135-2152
[6]  
Theoretical and Empirical Analysis of ReliefF and RReliefF[J] . Marko Robnik-?ikonja,Igor Kononenko.Machine Learning . 2003 (1-2)