基于最小联合互信息亏损的最优特征选择算法

被引：9

作者：

张逸石 ^{[1
]}

陈传波 ^{[1
,2
]}

机构：

[1] 华中科技大学软件学院

[2] 华中科技大学计算机科学与技术学院

来源：

计算机科学 | 2011年 / 38卷 / 12期

关键词：

特征选择; 条件互信息; 最小联合互信息亏损; 快速实现;

D O I：

暂无

中图分类号：

TP181 [自动推理、机器学习];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

提出了一种基于最小联合互信息亏损的最优特征选择算法。该算法首先通过一种动态渐增策略搜索一个特征全集的无差异特征子集,并基于最小条件互信息原则在保证每一步中联合互信息量亏损都最小的情况下筛选其中的冗余特征,从而得到一个近似最优特征子集。针对现有基于条件互信息的条件独立性测试方法在高维特征域上所面临的效率瓶颈问题,给出了一种用于估计条件互信息的快速实现方法,并将其用于所提算法的实现。分类实验结果表明,所提算法优于经典的特征选择算法。此外,执行效率实验结果表明,所提条件互信息的快速实现方法在执行效率上有着显著的优势。

引用

页码：200 / 205

页数：6

共 8 条

[1] DPFS:一种基于动态规划的文本特征选择算法 [J].

任永功 ;

林楠 .

计算机科学, 2009, 36 (06) :188-191

[2] 一种近似Markov Blanket最优特征选择算法 [J].

崔自峰 ;

徐宝文 ;

张卫丰 ;

徐峻岭 .

计算机学报, 2007, (12) :2074-2081

[3] 基于最大熵原理的空间特征选择方法 [J].

宋国杰 ;

唐世渭 ;

杨冬青 ;

王腾蛟 .

软件学报, 2003, (09) :1544-1550

[4] An Improved IAMB Algorithm for Markov Blanket Discovery [J].

Zhang, Yishi ;

Zhang, Zigang ;

Liu, Kaijun ;

Qian, Gangyi .

JOURNAL OF COMPUTERS, 2010, 5 (11) :1755-1761

[5] Supervised feature selection by clustering using conditional mutual information-based distances [J].

Martinez Sotoca, Jose ;

Pla, Filiberto .

PATTERN RECOGNITION, 2010, 43 (06) :2068-2081

[6]

Theoretical and Empirical Analysis of ReliefF and RReliefF[J] . Marko Robnik-?ikonja,Igor Kononenko.Machine Learning . 2003 (1-2)

[7]

Book Review: C4.5: Programs for Machine Learning by J. Ross Quinlan. Morgan Kaufmann Publishers, Inc., 1993[J] . Steven L. Salzberg.Machine Learning . 1994 (3)

[8]

Speculative Markov Blanket Discovery for Optimal Feature Selection. Yaramakala S,Margaritis D. Proceedings of the Fifth IEEE International Conference on Data Mining . 2005

← 1 →