支持向量分类机的核函数研究

支持向量机是二十世纪九十年代发展起来的统计学习理论的核心内容,它是借助于最优化方法解决机器学习问题的新工具,集成了最优超平面、Mercer核函数、凸二次规划、稀疏解和松弛变量等多项技术,具有全局最优、结构简单、推广能力强等优点,在模式分类、回归分析和概率密度估计等若干方面获得非常好的应用效果。核函数是支持向量机的重要组成部分,它巧妙地解决了高维空间的问题,通过使用不同的核函数,可实现不同的支持向量机算法。经验表明在众多核函数中,高斯核函数由于其特殊的性质和广泛的应用得到广大研究者的重视。由于核函数的好坏直接影响着支持向量机的性能,因此有关核函数的研究就成为大家关注的焦点,成为支持向量机研究中需要解决的核心问题之一。 论文针对支持向量机核函数的参数选择和核函数的修正问题进行了研究,主要内容为: 首先,对支持向量机分类模型的核参数进行分析,考察目前常用的几种核参数优化方法,包括交叉验证法、网格搜索算法、遗传算法和粒子群算法,总结了它们的优缺点。基于粒子群算法收敛速度快而遗传算法不易陷入局部最优的优点,提出一种新的核参数优化方法,该方法是两种算法交替进行,应用迭代控制器进行控制,每隔数代进行最优粒子交互,从而克服了粒子群算法陷入局部最优而导致的收敛精确度低或不收敛的问题,支持向量机分类精度也提高了。 其次,为了更好地适应实际情况,利用实验数据从黎曼几何角度来增大支持向量机的分类精度。针对之前的修正核函数受到支持向量数目和分布的影响这一缺陷,基于黎曼几何信息和Amair的几何修改方法提出一种新的修正核函数。该方法利用原始核函数训练SVM得到的分类边界与样本值所在平面的距离来代替样本点到支持向量的距离,通过改变拟共形变换来修正高斯核,旨在放大高斯核函数的体积元,从而提高SVM分类的效果。新的修正核函数,克服了以前修正核函数受支持向量数目的影响,并在很大程度上提高了SVM的泛化能力。 最后,将论文的方法用于UCI数据库中Mushroom的分类中,实验说明用基于遗传算法-粒子群算法的核参数选择方法较遗传算法和粒子群算法取得了更好的分类准确率,具有良好的推广能力。新的修正核函数用于上述优化参数后的高斯核函数,再重复训练SVM,实验数据表明较原来的核函数有更好的分类性能。