基于AdaBoost迭代学习的支持向量机分类算法

Vanpik领导的AT和TBell实验室研究小组在1963年提出了一种新的非常有潜力的分类技术——支持向量机(Support Vector Machines) SVM, SVM是一种统计学习理论的模式识别方法,最初主要应用于模式识别领域。在以后的研究和应用中,SVM得以迅速发展和完善,目前已经在许多领域如生物信息学,文本和手写识别等都取得了广泛的应用。 虽然SVM取得了如此广泛的应用,然而SVM在分类问题上仍旧不是非常理想。AdaBoost算法在模式识别领域得到了广泛应用,可以把它用来作为SVM分类的基础。所以针对以上问题,本文就针对AdaBoost和SVM算法的优点结合进行了研究。研究的主要内容如下： 1)由AdaBoost算法理论的应用和分析中可以得知AdaBoost算法的在模式识别中的有利应用,尤其是在分类领域。把AdaBoost算法的这一优点加以改进,就能更好地应用于SVM算法的分类中,提高SVM算法的分类性能。 2)利用AdaBoost算法和SVM算法的优越性——迭代过程中都是不断地迭代训练“最富信息的样本点”,通过SVM算法中的序列最小化算法训练样本及所需的参数,得出AdaBoost算法中训练样本的最富信息,然后给予每个样本一个属性(权值Di),表明它被某个分量分类器选入训练集的概率,减少了训练的次数和操作的复杂度。根据AdaBoost算法每次迭代的结果更改其对应样本的权值。最后根据其对应的权值来判断分类的性能。 3)通过对每次迭代后的弱分类器性能进行比较,就可以得到一个分类性能比较好的弱分类器,然后在每次迭代的过程都要标记前一个步骤得到的弱分类器的分类准确率。对标记的弱分类器和对应的准确率加以处理,然后就得出具体的AdaBoost-SVM算法设计过程,并给出了算法的结构流程图,详细介绍了该算法的具体操作步骤。 4)把设计出的AdaBoost-SVM算法与支持向量机的学习算法进行研究与比较,通过AdaBoost-SVM仿真实验结果表明,提高了支持向量机的预测精度并优化了学习机的学习性能。因此该方法具有很高的研究价值和使用的实际意义。