重采样方法与机器学习

被引:36
作者
毕华
梁洪力
王珏
机构
[1] 中国科学院自动化研究所复杂系统与智能科学重点实验室
关键词
重采样; 自助法; Boosting; 机器学习;
D O I
暂无
中图分类号
TP18 [人工智能理论];
学科分类号
081104 ; 0812 ; 0835 ; 1405 ;
摘要
Boosting算法试图用弱学习器的线性组合逼近复杂的自然模型,以其优秀的可解释性和预测能力,得到了计算机界的高度关注.但Boosting只被看作是一种特定损失下的优化问题,其统计学本质未曾得到充分的关注.作者追根溯源,提出从统计学角度看待Boosting方法:在统计学框架下,Boosting算法仅仅是重采样方法的一个有趣的特例.作者希望改变计算机科学家只重视算法性能忽略数据性质的现状,以期找到更适合解决"高维海量不可控数据"问题的方法.
引用
收藏
页码:862 / 877
页数:16
相关论文
共 17 条
[1]  
机器学习及其应用[M]. 清华大学出版社 , 王珏, 2006
[2]  
机会的数学[M]. 清华大学出版社;暨南大学出版社 , 陈希孺 著, 2000
[3]  
Least Angle Regression[J] . Bradley Efron,Trevor Hastie,Iain Johnstone,Robert Tibshirani.The Annals of Statistics . 2004 (2)
[4]  
Statistical Modeling: The Two Cultures[J] . Leo Breiman.Statistical Science . 2001 (3)
[5]  
On the eve of the 21st century: statistical science at a crossroads[J] . Edward J Wegman.Computational Statistics and Data Analysis . 2000 (3)
[6]  
Arcing Classifiers[J] . Leo Breiman.The Annals of Statistics . 1998 (3)
[7]   Heuristics of instability and stabilization in model selection [J].
Breiman, L .
ANNALS OF STATISTICS, 1996, 24 (06) :2350-2383
[8]   Bagging predictors [J].
Breiman, L .
MACHINE LEARNING, 1996, 24 (02) :123-140
[9]   Cryptographic limitations on learning Boolean formulae and finite automata [J].
Kearns, Michael ;
Valiant, Leslie .
Journal of the ACM, 1994, 41 (01) :67-95
[10]   THE STRENGTH OF WEAK LEARNABILITY [J].
SCHAPIRE, RE .
MACHINE LEARNING, 1990, 5 (02) :197-227