基于支持向量机的多分类算法研究

支持向量机最初于20世纪90年代由Vapnik提出，是一种新的统计学习算法，其学习原则是使结构风险最小化，这使得支持向量机具有很强的泛化能力。近年来，支持向量机在理论研究和算法实现都取得了突破性进展，是数据挖掘中的一项新技术，开始成为克“维数灾难”和“过学习”等传统困难的有力手段。 核函数的核心内容是：对于输入空间中非线性可分问题，选择一个适当的映射，将输入空间中的样本点映射到一个高维特征空间，使得对应的样本点在该空间线性可分，在求解决策函数的过程中的计算仍在原空间进行，大大降低了在映射后的高维特征空间计算的复杂性。 由于实际问题的复杂性，很多实际问题所采集的数据指标太多，再使用核函数，使得维数进一步扩大，进而使得计算量过于庞大，对实际问题的解决带来了困难。此外，绝大多数讨论仅局限于用SVM解决两类问题。然而，即使我们能够将两类问题正确分类，也并不意味着实际应用中多类分类问题的解决。 本文首先从支持向量机的理论入手，介绍核函数的性质，以及根据序列极小化方法的基本思想建立的特征选择的方法，从而提高支持向量机在分类问题中的应用能力。对于多类分类问题，我们首先对基于支持向量机的几种多类分类方法的性能进行研究和比较，并就基于模糊支持向量机的多类分类问题中可能出现的盲区提出了解决办法，对于一对多类分类方法中经常出现的样本不均衡问题提出一个可行的解决方法，这些改进对高维多类分类问题具有很强的实践价值。最后通过多类字母图象分类问题说明支持向量机算法在多类分类问题中的应用。