SMO算法的简化及其在非正定核条件下的应用

被引:33
作者
周晓剑 [1 ]
马义中 [1 ]
朱嘉钢 [2 ]
机构
[1] 南京理工大学经济管理学院
[2] 江南大学信息工程学院
基金
国家自然科学基金重点项目;
关键词
非正定核; SMO算法; ε-支持向量回归机; 支持向量机; 拉格朗日乘子;
D O I
暂无
中图分类号
TP18 [人工智能理论];
学科分类号
140502 [人工智能];
摘要
SMO算法是求解大型支持向量机(SVM)的有效算法.已有的算法都必须判定4个Lagrange乘子位于哪个象限,从而使算法的实现更为复杂.此外,现有算法都假定核矩阵是正定的或半正定的,因此使其应用受到了限制.考虑到传统算法的不足,提出了一种用于-εSVR的简化SMO算法,进而将其用于求解非正定核的-εSVR.与已有的算法不同,通过将-εSVR的原始规划问题进行展开并求解其KKT条件,提出的算法只需考虑2个Lagrange乘子,从而有效地简化了算法的实现,并能方便地应用于非正定核SVR的求解.采用一个常用于衡量预测误差的函数对算法进行了测试,实验表明,与-εSVR现有的SMO算法相比,在不增加空间复杂度和时间复杂度的前提下避免了大量繁琐的判别条件,简化了算法的实现,这就为不同的损失函数所对应的SVR提供了一个通用的SMO算法,从而有利于SVR的推广应用.另外,提出的求解非正定核的ε-SVR的方法也为求解其他的非正定核SVR提供了一个思路.
引用
收藏
页码:1962 / 1969
页数:8
相关论文
共 5 条
[1]
一种新的SVM主动学习算法及其在障碍物检测中的应用 [J].
韩光 ;
赵春霞 ;
胡雪蕾 .
计算机研究与发展, 2009, 46 (11) :1934-1941
[2]
使用基于多例学习的启发式SVM算法的图像自动标注 [J].
路晶 ;
马少平 .
计算机研究与发展, 2009, 46 (05) :864-871
[3]
A tutorial on support vector regression [J].
Smola, AJ ;
Schölkopf, B .
STATISTICS AND COMPUTING, 2004, 14 (03) :199-222
[4]
Efficient SVM regression training with SMO [J].
Flake, GW ;
Lawrence, S .
MACHINE LEARNING, 2002, 46 (1-3) :271-290
[5]
数据挖掘中的新方法.[M].邓乃扬;田英杰著;.科学出版社.2004,