最小平方误差算法的正则化核形式

被引：5

作者：

许建华

张学工

李衍达

机构：

[1] 清华大学自动化系智能技术与系统国家重点实验室,清华大学自动化系智能技术与系统国家重点实验室,清华大学自动化系智能技术与系统国家重点实验室北京,北京,北京

来源：

自动化学报 | 2004年 / 01期

关键词：

非线性; 支持向量机; 平方误差; 核形式; 正则化;

D O I：

10.16383/j.aas.2004.01.004

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

最小平方误差算法是最常用的一种经典模式识别和回归分析方法,其目标是使线性函数输出与期望输出的误差平方和为最小.该文应用满足Mercer条件的核函数和正则化技术,改造经典的最小平方误差算法,提出了基于核函数和正则化技术的非线性最小平方误差算法,即最小平方误差算法的正则化核形式,其目标函数包含基于核的非线性函数的输出与期望输出的误差平方和,及一个适当的正则项.正则化技术可以处理病态问题,同时可以减小解空间和控制解的推广性,文中采用了三种平方型的正则项,并且根据正则项的概率解释,详细比较了三种正则项之间的差别.最后,用仿真资料和实际资料进一步分析算法的性能.

引用

页码：27 / 36

页数：10

共 7 条

[1] Second-order learning algorithm with squared penalty term [J].

Saito, K ;

Nakano, R .

NEURAL COMPUTATION, 2000, 12 (03) :709-729

[2] Least squares support vector machine classifiers [J].

Suykens, JAK ;

Vandewalle, J .

NEURAL PROCESSING LETTERS, 1999, 9 (03) :293-300

[3]

On a Kernel-Based Method for Pattern Recognition, Regression, Approximation, and Operator Inversion[J] . A. J. Smola,B. Sch?lkopf.Algorithmica . 1998 (1)

[4] Nonlinear component analysis as a kernel eigenvalue problem [J].

Scholkopf, B ;

Smola, A ;

Muller, KR .

NEURAL COMPUTATION, 1998, 10 (05) :1299-1319

[5] The connection between regularization operators and support vector kernels [J].

Smola, AJ ;

Scholkopf, B ;

Muller, KR .

NEURAL NETWORKS, 1998, 11 (04) :637-649

[6] SUPPORT-VECTOR NETWORKS [J].

CORTES, C ;

VAPNIK, V .

MACHINE LEARNING, 1995, 20 (03) :273-297

[7] BAYESIAN REGULARIZATION AND PRUNING USING A LAPLACE PRIOR [J].

WILLIAMS, PM .

NEURAL COMPUTATION, 1995, 7 (01) :117-143

← 1 →