分类器动态组合及基于分类器组合的集成学习算法

被引：3

作者：

付忠良 ^{[1
,2
]}

赵向辉 ^{[1
,2
]}

机构：

[1] 中国科学院成都计算机应用研究所

[2] 中国科学院研究生院

来源：

四川大学学报(工程科学版) | 2011年 / 43卷 / 02期

关键词：

分类器动态组合; 集成学习; 多分类问题; AdaBoost;

D O I：

暂无

中图分类号：

TP181 [自动推理、机器学习];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

针对目前基于分类器静态组合的集成学习算法难于推广的问题,根据组合分类器分类错误最小化原则,研究了组合系数随分类器输出变化而变化的分类器动态组合理论,包括组合系数的选取、组合分类器分类错误率的估计等。证明了在分类器相互独立时,一些动态组合分类器等价于Bayes统计推断。提出了基于分类器组合的通用集成学习算法,并把AdaBoost、Real AdaBoost、Gentle AdaBoost算法推广到了多分类问题。证明了按照集成学习算法得到的分类器,其动态组合的有效性可不依赖于分类器的独立性,这支撑了基于分类器相互独立假设来研究分类器组合的有用性。最后,通过UCI数据实验验证了动态组合的有效性。

引用

页码：58 / 65

页数：8

共 11 条

[1] 基于属性组合的集成学习算法 [J].

付忠良 ;

赵向辉 ;

苗青 ;

姚宇 .

计算机应用, 2010, 30 (02) :465-468+475

[2] 分类器线性组合的有效性和最佳组合问题的研究 [J].

付忠良 .

计算机研究与发展, 2009, 46 (07) :1206-1216

[3] 关于AdaBoost有效性的分析 [J].

付忠良 .

计算机研究与发展, 2008, (10) :1747-1755

[4] 人脸检测研究综述 [J].

梁路宏 ;

艾海舟 ;

徐光祐 ;

张钹 .

计算机学报, 2002, (05) :449-458

[5] Multi-class AdaBoost [J].

Zhu, Ji ;

Zou, Hui ;

Rosset, Saharon ;

Hastie, Trevor .

STATISTICS AND ITS INTERFACE, 2009, 2 (03) :349-360

[6] Robust real-time face detection [J].

Viola, P ;

Jones, MJ .

INTERNATIONAL JOURNAL OF COMPUTER VISION, 2004, 57 (02) :137-154

[7] Random forests [J].

Breiman, L .

MACHINE LEARNING, 2001, 45 (01) :5-32

[8] Improved boosting algorithms using confidence-rated predictions [J].

Schapire, RE ;

Singer, Y .

MACHINE LEARNING, 1999, 37 (03) :297-336

[9]

Boosting the Margin: A New Explanation for the Effectiveness of Voting Methods[J] . Robert E. Schapire,Yoav Freund,Peter Bartlett,Wee Sun Lee.The Annals of Statistics . 1998 (5)

[10] A decision-theoretic generalization of on-line learning and an application to boosting [J].

Freund, Y ;

Schapire, RE .

JOURNAL OF COMPUTER AND SYSTEM SCIENCES, 1997, 55 (01) :119-139

← 1 2 →