基于SVM与AdaBoost组合的分类算法研究

支持向量机(Support Vector Machines, SVM)是Vapnik提出的一种基于结构风险最小化的学习技术,也是一种新的具有很好泛化性能的回归方法。在模式识别、回归估计、概率密度函数估计等方面都有应用。 AdaBoost作为Boosting方法的典型算法之一,已在模式识别、机器学习等多个领域得到了成功的应用。该方法通过组合学习方式允许不断地加入新的“弱分类器”,直到达到某个预定的足够小的误差率。随着AdaBoost不断应用,其优点日益凸显,越来越多的学者致力于研究以不同的方式提高其算法性能。 本文首次提出了一种基于Fisher准则的SVM参数选择算法——FS算法,将梯度下降算法和Fisher准则相结合。选择算法充分利用了样本在特征空间中类别间的线性可分离性,结合梯度下降算法进行参数寻优,具有简单、复杂度低、易于实现等优点。其次还对SVM与AdaBoost如何高效组合进行了研究,将最近邻法应用其中,并基于主动学习策略,提出了一种高效的组合算法——IASVM算法。最后,为验证提出算法的有效性,本文对两种算法在中等规模的标准数据集上进行了测试。实验证明,FS算法的分类准确率平均能达到85%以上,IASVM算法的分类准确率平均能保持在83%以上,然而,其训练时间仅是SVM训练时间的1/10。因此,以上两种算法均在很大程度上提高了分类性能,又保持了很好的分类准确率。