支持向量机方法及其应用研究

统计学习理论是针对小样本情况下的机器学习理论,其核心思想是通过控制学习机器的复杂度,实现对学习机器推广能力的控制。在这一理论基础上发展起来的支持向量机(SVM)是一种新的通用机器学习方法,它较以往方法表现出很多理论和实践上的优势,较好地解决了小样本、非线性、高维和局部极小等问题,在模式识别、回归估计等很多领域都得到了广泛的应用。回归SVM是分类SVM用于解决回归问题的推广形式。本文对回归SVM的核函数构造、参数选择和训练算法进行研究,并利用SVM建立直升机的仿真模型,研究内容主要包括以下几个方面: 首先,对SVM核函数的构造和参数选择进行了研究。目前常用的核函数通过平移不能生成平方可积空间一组完备的基,因此SVM不能以任意精度逼近这个空间的任意非线性函数。针对这个问题,利用Marr小波构造了一种小波核函数,对其存在性进行了证明,并采用改进的混沌粒子群优化算法对SVM的参数进行选择。仿真结果表明,利用这种核函数构造的小波SVM,比利用高斯核函数构造的SVM具有更高的收敛精度。 其次,对训练SVM的序列最小优化算进行了研究。序列最小优化算法一般采用KKT条件作为停机准则,这种停机准则在迭代优化的后期进展缓慢。根据凸二次优化问题在对偶间隙为零时取得最优解这个性质,对序列最小优化算法的停机准则进行改进,提出一种改进的序列最小优化算法。仿真结果表明,这种优化算法在保持训练精度和测试精度不变的情况下,能有效提高算法的收敛速度。 然后,对训练SVM的在线算法进行了研究。与批处理算法相比,训练SVM的在线算法通常具有实现简单、运行效率高等优点。但是,目前在线算法通常需要考虑所有的训练样本,而支持向量的数量随训练样本的加入至少是呈线性地增加,保留过多的支持向量将影响SVM的训练速度和预测速度。针对这个问题,在已有的在线贪婪算法的基础上,引入一个称为预算参数的量,增加一个样本的删除过程,从而提出一种能缩减和控制支持向量数量的SVM在线训练算法。仿真结果表明,这种算法能有效缩减和控制支持向量的数量,提高了SVM在线算法的训练速度和预测速度。 最后,对利用SVM建立直升机的仿真模型进行了研究。为了建立高精度的直升机仿真模型,把SVM引入直升机智能化建模领域,选取直升机的两种特殊飞行状态,建立直升机旋翼自转着陆过程的旋翼转速模型、直升机鱼跃运动的仿真模型。这种方法避免了机理建模所需的复杂的空气动力学知识,大大降低了仿真模型的复杂度。与神经网络模型相比,这种SVM模型具有结构简单、运算速度快、泛化能力高等优点。