训练支持向量机的Huber近似算法

被引：3

作者：

周水生

詹海生

周利华

机构：

[1] 西安电子科技大学理学院,西安电子科技大学多媒体研究所,西安电子科技大学多媒体研究所西安

[2] 西安电子科技大学多媒体研究所西安,西安,西安

来源：

计算机学报 | 2005年 / 10期

关键词：

支持向量机; 分片二次函数; Lagrangian对偶; Newton型算法; HuberM-估计损失函数; Huber近似;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维二次规划问题.该文利用Lagrangian对偶方法,给出此高维二次规划的无约束对偶问题;考虑到该对偶问题是不可微的,利用Huber近似将其近似转化为连续可微的分片二次函数的无约束极小化问题.证明了该分片二次函数的极小点对应原二次规划的ε最优解,而用此极小点可直接算出支持向量和最优超平面.最后针对分片二次函数的特点,提出了Newton型算法,结合精确一维搜索技巧,可以快速求解该问题.数据实验结果仿真表明该算法能够在低存储需求下有效提高大数据量、高维问题的训练学习速度.

引用

页码：1664 / 1670

页数：7

共 5 条

[1] 训练支持向量机的极大熵方法 [J].