关于AdaBoost有效性的分析

被引：46

作者：

付忠良

机构：

[1] 中国科学院成都计算机应用研究所

来源：

计算机研究与发展 | 2008年 / 10期

关键词：

机器学习; 弱学习定理; 大数定理; AdaBoost; Bagging;

D O I：

暂无

中图分类号：

TP391.4 [模式识别与装置];

学科分类号：

0811 ; 081101 ; 081104 ; 1405 ;

摘要：

在机器学习领域,弱学习定理指明只要能够寻找到比随机猜测略好的弱学习算法,则可以通过一定方式,构造出任意误差精度的强学习算法.基于该理论下最常用的方法有AdaBoost和Bagging.AdaBoost和Bagging的误差分析还不统一;AdaBoost使用的训练误差并不是真正的训练误差,而是基于样本权值的一种误差,是否合理需要解释;确保AdaBoost有效的条件也需要有直观的解释以便使用.在调整Bagging错误率并采取加权投票法后,对AdaBoost和Bagging的算法流程和误差分析进行了统一,在基于大数定理对弱学习定理进行解释与证明基础之上,对AdaBoost的有效性进行了分析.指出AdaBoost采取的样本权值调整策略其目的是确保正确分类样本分布的均匀性,其使用的训练误差与真正的训练误差概率是相等的,并指出了为确保AdaBoost的有效性在训练弱学习算法时需要遵循的原则,不仅对AdaBoost的有效性进行了解释,还为构造新集成学习算法提供了方法.还仿照AdaBoost对Bagging的训练集选取策略提出了一些建议.

引用

页码：1747 / 1755

页数：9

共 9 条

[1] 基于连续Adaboost算法的多视角人脸检测 [J].

武勃 ;

黄畅 ;

艾海舟 ;

劳世竑 .

计算机研究与发展, 2005, (09) :1612-1621

[2] 基于可信度的投票法 [J].

燕继坤 ;

郑辉 ;

王艳 ;

曾立君 .

计算机学报, 2005, (08) :1308-1313

[3] Boosting和Bagging综述 [J].

沈学华 ;

周志华 ;

吴建鑫 ;

陈兆乾 .

计算机工程与应用, 2000, (12) :31-32+40

[4] Random forests [J].

Breiman, L .

MACHINE LEARNING, 2001, 45 (01) :5-32

[5]

Boosting the Margin: A New Explanation for the Effectiveness of Voting Methods[J] . Robert E. Schapire,Yoav Freund,Peter Bartlett,Wee Sun Lee.The Annals of Statistics . 1998 (5)

[6] A decision-theoretic generalization of on-line learning and an application to boosting [J].

Freund, Y ;

Schapire, RE .

JOURNAL OF COMPUTER AND SYSTEM SCIENCES, 1997, 55 (01) :119-139

[7] Bagging predictors [J].

Breiman, L .

MACHINE LEARNING, 1996, 24 (02) :123-140

[8] THE STRENGTH OF WEAK LEARNABILITY [J].

SCHAPIRE, RE .

MACHINE LEARNING, 1990, 5 (02) :197-227

[9] A THEORY OF THE LEARNABLE [J].

VALIANT, LG .

COMMUNICATIONS OF THE ACM, 1984, 27 (11) :1134-1142

← 1 →