支持向量机算法的研究及其应用

作为结构风险最小化准则的具体实现，支持向量机方法具有全局最优、结构简单、推广能力强等优点，近几年得到了广泛的研究。本文仔细研究了支持向量机理论，并针对目前一些支持向量机算法存在的缺陷，分析了产生的原因，提出了两种新的支持向量机算法。针对支持向量机算法难以处理大规模数据的问题，提出了两种新的支持向量机分类方法。并就多类别分类问题等方面开展了初步的理论研究。 本文主要工作包括： (1)讨论了支持向量机理论中各种变形的支持向量机算法，对常规支持向量机公式进行变形的算法主要有C-SVM系列、ν-SVM系列、One-class SVM、RSVM、WSVM和LS-SVM等算法，通过增加函数项、变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。通过比较它们各自的优缺点等情况，为提出新的支持向量机算法做了理论准备。 (2)介绍了超球面支持向量机算法的思想，以及超球面和超平面的区别。研究了目前超球面支持向量机算法，它们的目标函数中缺少了使分类间隔尽量大这个条件，而这个条件是统计学习理论中结构风险最小化的体现，直接反映了算法的推广能力。因此，提出了一种新的超球面支持向量机算法，具有较好的推广能力，成功地解决了现有超球面支持向量机算法在推广能力的缺陷。 (3)针对某些支持向量机算法不能解决样本类别之间差异造成的不良影响的缺陷，提出了一种新的加权支持向量机算法，该算法具有补偿类别差异的优点，可应用于解决多类别分类问题。并且从另外一个角度对加权C-SVM算法和加权ν-SVM算法的类别补偿性能进行了分析。 (4)提出了基于粗糙集理论和支持向量机理论的粗SVM分类方法。该方法采用粗糙集属性约简的思想减少属性个数，且在属性约简过程中选出几组合适的属性集组成新的属性集，使模型具有一定的抗信息丢失能力。同时充分利用支持向量机理论的良好推广性能，提高了预测分类精度。 (5)提出了基于主成分分析方法和支持向量机理论的去噪声加权SVM分类方法。该方法通过引入主成分分析方法来降维去噪声，同时补偿类别差异造成的不利影响，提高了预测分类精度。 (6)把支持向量机理论应用到污水处理过程运行状态监控中去。