AdaBoost算法的推广——一组集成学习算法

被引：9

作者：

付忠良 ^{[1
,2
]}

赵向辉 ^{[1
,2
]}

苗青 ^{[1
,2
]}

姚宇 ^{[1
,2
]}

机构：

[1] 中国科学院成都计算机应用研究所

[2] 中国科学院研究生院

来源：

四川大学学报(工程科学版) | 2010年 / 42卷 / 06期

关键词：

集成学习; AdaBoost; 分类器组合; 弱学习定理;

D O I：

10.15961/j.jsuese.2010.06.034

中图分类号：

TP301.6 [算法理论];

学科分类号：

摘要：

针对AdaBoost算法只适合于不稳定学习算法这一不足,基于增加新分类器总是希望降低集成分类器训练错误率这一思想,提出了利用样本权值来调整样本类中心的方法,使AdaBoost算法可以与一些稳定的学习算法结合成新的集成学习算法,如动态调整样本属性中心的集成学习算法、基于加权距离度量分类的集成学习算法和动态组合样本属性的集成学习算法,大大拓展了AdaBoost算法适用范围。针对AdaBoost算法的组合系数和样本权值调整策略是间接实现降低训练错误率目标,提出了直接面向目标的集成学习算法。在UCI数据上的实验与分析表明,提出的AdaBoost推广算法不仅有效,而且部分算法比AdaBoost算法效果更好。

引用

页码：91 / 98

页数：8

共 26 条

[1] UCI repository of machine learning databases. C Blake, C Merz. http://www.ics.uci.edu/mlearn/MLRepository.html . 1998
[2] Multi-class adaboost. Zhu Ji,Saharon Rosset,Zou Huiet al. Statistics and Its Interface . 2009
[3] On the dual formulation of Boosting algorithms. Shen Chunhua,Li Hanxi. IEEE Transactions on Pattern Analysis and Machine Intelligence . 2010
[4] Bregman divergences and surrogates for learning. Nock R,Nielsen Frank. IEEE Transactions on Pattern Analysis and Machine Intelligence . 2009
[5] THE STRENGTH OF WEAK LEARNABILITY
SCHAPIRE, RE
[J]. MACHINE LEARNING, 1990, 5 (02) : 197 - 227
[6] A decision-theoretic generalization of on-line learning and an application to boosting
Freund, Y
Schapire, RE
[J]. JOURNAL OF COMPUTER AND SYSTEM SCIENCES, 1997, 55 (01) : 119 - 139
[7] BoosTexter: A Boosting-based System for Text Categorization[J] . Robert E. Schapire,Yoram Singer. &nbspMachine Learning . 2000 (2)
[8] AdaBoost is consistent. Bartlett P L,Traskin M. Journal ofMachine Learning Research . 2007
[9] A decision-theoretic generalization of on-line learning and an application to boosting. Freund Y, Schapire RE. Journal of Computer and System Sciences . 1997
[10] A real generalization of discrete AdaBoost. Nock R,Nielsen F. Artificial Intelligence . 2007

← 1 2 3 →