神经网络极速学习方法研究

被引：401

作者：

邓万宇 ^{[1
]}

郑庆华 ^{[1
]}

陈琳 ^{[2
]}

许学斌 ^{[1
]}

机构：

[1] 西安交通大学电信学院计算机系智能网络与网络安全教育部重点实验室

[2] 西安邮电学院计算机科学与技术系

来源：

计算机学报 | 2010年 / 33卷 / 02期

关键词：

极速学习机; 正则极速学习机; 支持向量机; 结构风险; 神经网络; 最小二乘;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

140502 [人工智能];

摘要：

单隐藏层前馈神经网络(Single-hidden Layer Feedforward Neural Network,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但传统学习方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈.产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(Back Propagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定.因此算法的计算量和搜索空间很大.针对以上问题,借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性.实验表明RELM综合性能优于ELM、BP和SVM.

引用

页码：279 / 287

页数：9

共 6 条

[1]

关于统计学习理论与支持向量机 [J].

张学工 .

自动化学报, 2000, (01)

[2]

SMO algorithm for least-squares SVM formulations [J].

Keerthi, SS ;

Shevade, SK .

NEURAL COMPUTATION, 2003, 15 (02) :487-507

[3]

Weighted least squares support vector machines: robustness and sparse approximation.[J].J.A.K. Suykens;J. De Brabanter;L. Lukas;J. Vandewalle.Neurocomputing.2002, 1

[4]

A parallel mixture of SVMs for very large scale problems [J].

Collobert, R ;

Bengio, S ;

Bengio, Y .

NEURAL COMPUTATION, 2002, 14 (05) :1105-1114

[5]

Early sample measures of variability [J].

David, HA .

STATISTICAL SCIENCE, 1998, 13 (04) :368-377

[6]

数据挖掘中的新方法.[M].邓乃扬;田英杰著;.科学出版社.2004,

← 1 →