基于ROC的分类算法评价方法

分类学习是机器学习的主要分支,分类算法的学习能力通常用正确率来衡量。但是当数据类别分布不平衡或分类错误代价不相等时,正确率并不能保证分类算法总体错误代价最小。ROC(Receiver Operating Characteristic,受试者工作特征)分析技术衡量了数据类别在任何分布或任何错误代价下分类算法的总体性能。由于对类别分布比例和错误代价的不敏感性,使得ROC曲线在类别分布未知的领域和代价敏感学习中变得越来越重要。 针对ROC曲线只能适用于二类别数据集的不足,本文较全面的分析和总结了目前多类别ROC分析技术,并在其基础上提出了EMAUC分析方法。这种方法采用纠错输出码将多类别问题转化为二类别问题逐个处理。相对于其它的多类ROC方法,它具有计算复杂度低、可理解性强、与多类别数据分布无关等优点。本文在机器学习平台WEKA和ROCon的基础上实现了EMAUC方法,并在大量数据集上进行了实验,结果表明该分析方法可以有效的评价和比较分类学习算法。