支持向量机及其在控制中的应用研究

统计方法是从观测自然现象或者专门安排的实验所得到的数据去推断该事物可能的规律性。统计学习理论是在研究小样本统计估计和预测的过程中发展起来的一种新兴理论，它试图从更本质上来研究机器学习问题，因此引起了人们越来越多的重视。 支持向量机(SVM)是在统计学习理论基础上发展起来的一种新的模式识别方法，它是统计学习理论中的结构风险最小化思想在实际中的一种体现。SVM的基本思想是通过非线性变换将输入空间变换到一个高维空间，然后在这个新的空间中求取最优分类超平面。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。本文选取SVM及其如何在控制领域取得应用加以研究，希望理论与应用并重。因此本文主要由两大部分构成：其一是关于SVM本身的研究，提出了新的SVM；其二是关于应用的研究，包括如何在最优控制中取得应用、如何构造SVM软测量仪及在故障诊断中取得应用。 本文的主要贡献如下： 1．回顾了统计学习理论研究的基本问题及主要内容。为了更好地说明统计学习理论在实际中的实现问题，我们回顾了SVM的基本概念及基本理论。然后介绍了SVM的发展和国内外研究现状，主要从SVM本身发展，SVM的算法，SVM的应用三方面进行了回顾，对每一方面目前存在的问题进行了总结。 2．针对回归估计问题提出了模糊SVM。模糊SVM主要用于解决标准SVM不能很好处理噪声污染的数据样本问题。把针对分类问题的广义SVM及最小二乘广义SVM用来处理回归估计问题，并和模糊SVM结合起来形成了基于模糊加权的广义SVM和基于模糊的多层最小二乘广义SVM。 3．针对多类回归模型估计问题提出了基于SVM的模糊C聚类算法，这种方法可以对样本进行聚类的同时实现对多个回归模型的估计；同时提出了基于最小二乘支持向量机(LS-SVM)的模糊C聚类算法。在讨论多类回归模型估 浙江大学博士学位论文 计问题的基础上又针对多个输出的问题讨论了SVM和LS一SVM如何实现的 问题。 4.加权LS一SVM可以对回归估计问题实现鲁棒估计，把它同基于LS一SVM的N 步最优控制想法相结合，将其扩展到基于加权最小二乘广义SVM，并应用 于N步最优控制问题，确定加权因子采用了模糊运算的办法。 5.针对微生物发酵中需要有大量软测量仪表的问题，提出了基于SVM的软测 量仪，针对离线和在线问题分别讨论了SVM软测量仪和LS一SVM软测量 仪的实现问题。sVM和Ls一sVM软测量仪实际上也是一种智能软测量仪 表。 6.研究了svM如何在故障诊断中应用的问题，提出了一种微生物发酵的故障 诊断新方法，即两个关联向量机分别作为观测器和分类器。观测器用于估计 二氧化碳释放率以便得到残差序列，分类器用于对残差序列进行分类。为了 减少染菌所造成的影响和损失，对异常工况进行及时诊断显得尤为重要。在 这里采用了另一种故障诊断方法，即把主元分析同支持向量机结合起来，这 样既可以从过多的监测变量中提取出主要的监测变量，又可以从有限的故障 样本得到具有较强推广能力的决策函数。 7.最后对全文进行了概括性总结，并指出了理论和应用上有待进一步研究的方 向。