特征选择的信息论算法研究

模式识别是信号与信息处理的一个重要应用领域,随着人工智能在50年代的兴起,模式识别的发展更为迅速,应用更为广泛。它所研究的理论和方法在很多科学和技术领域中得到了广泛的重视,推动了人工智能的发展,扩大了计算机应用的领域。 模式识别就是在面对某一具体事物时将其正确地归入某一类别。基于统计方法的模式识别系统主要由数据获取、预处理、特征提取和选择、分类决策四部分组成。 特征选择在模式识别中起非常重要的作用。通过特征提取得到的输入特征数据量很大,直接用于分类需要很大的运算量,降低了模式识别的实时性。特征选择的研究任务就是寻找一种好的算法,以便在允许的时间内找出对分类最有效的一组特征。 现在已经有许多优秀的特征选择算法,如最优搜索算法——分支定界算法,次优搜索算法,模拟退火算法,Tubu搜索算法,遗传算法,Taguch实验法等。 用信息论的方法进行特征选择是近年来提出的一种新方法。用信息论算法进行特征选择要同时考虑各输入特征对分类类别的重要性和各输入特征之间的相关性,用输入特征和分类类别的互信息反映该输入特征对分类的重要性,用输入特征之间的互信息反映输入特征之间的冗余性,特征选择的任务就可描述为:寻找和输出类别互信息大而和其它输入特征互信息小的一组输入特征。本文在研究这种新算法的基础上,提出一种新的算法,并将其应用于几个典型的分类识别问题,实验证明,这种算法确实有较好的特征选择性能。