基于信息熵的特征子集选择启发式算法的研究

特征子集选择问题是机器学习和模式识别中的一个重要问题．最优特征子集选择问题已被证明是ＮＰ难题．然而，目前的特征子集选择的启发式算法是基于正反例一致的，没有考虑到实际应用中的噪音数据影响，使得选择一个较好的特征子集非常困难．首先从统计学的角度分析了噪音对特征子集选择的影响，给出含有错误率的一致特征子集概念，然后利用信息熵和拉普拉斯错误估计函数构造了特征子集选择启发式算法ＥＦＳ（ｅｎｔｒｏｐｙｂａｓｅｄｆｅａｔｕｒｅｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎ）．将该算法应用于两个实际领域的学习问题，并与ＧＦＳ（ｇｒｅｅｄｙｆｅａｔｕｒｅｓｕｂｓｅｔｓｅｌｅｃｔｉｏｎ）算法进行了比较．实验结果表明，ＥＦＳ选择的特征子集更具有代表性，较为有效地解决了实际应用中的噪音影响