最小二乘支持向量机及其在工业过程建模中的应用

传统的工业过程建模大多基于精确的数学模型，这种方法适用于运行机理和过程特性已知的工业系统。对于结构复杂、非线性、时变的工业系统，透彻分析其过程机理并建立精确数学模型是相当困难的，常常需要付出很大的人力和物力。在许多实际生产过程中，对系统机理和数学模型知之甚少的工程技术人员，通过观察和经验总结仍然对系统进行良好的手动控制。因此，采用机器学习的方法来模拟人类的这种行为是一种有效的技术方法。 研究小样本下的分类或回归估计问题，研究者们提出了统计学习理论。统计学习理论作为机器学习一个分支，由于其优异的特性及应用前景受到越来越多的关注。支持向量机(SVM)衍生于统计学习理论，能够在最小化训练误差和模型复杂度之间找到最佳平衡点，是一种比较经典的机器学习方法。由于秉承了统计学习理论的主要思想(如结构风险最小化、VC维)，支持向量机可以在有限样本下得到全局最优，从而避免局部最优问题。 1999年Suykens与Vandewalle将支持向量机的二次规划问题替换为一组线性等式，提出了最小二乘支持向量机(LS-SVM)。与采用线性或非线性规划方法的其它支持向量机算法相比，LS-SVM具有降低计算复杂度的优点。因此，最小二乘支持向量机在许多分类或回归估计问题中取得了很好的应用效果。 本文以最小二乘支持向量机在建模、预测和控制方面的应用为背景开展研究工作，提出一些适用于动态系统特征提取、建模、预测和控制的最小二乘支持向量机改进算法。本文的主要贡献如下： 1．在支持向量机回归估计中，输入样本间的自相关或互相关的特性会恶化支持向量机的泛化性能。因此对支持向量机的输入数据进行特征提取，是解决该问题的一个重要步骤。本文提出一种基于动态独立分量分析(DICA)的特征提取方法，由于从自相关和互相关的输入变量中提取独立分量，DICA更适用于动态过程变量的特征提取。将DICA方法分别应用于广义支持向量机或最小二乘支持向量机回归估计，构成多层支持向量回归估计器。第一层为降低分析复杂性，提高回归估计鲁棒性的DICA特征提取层；第二层为实现系统动态建模的SVM或LSSVM层。将DICA-LSSVM辨识器用于TE过程组分浓度估计与建模，仿真结果表明：DICA-LSSVM的估计精度优于不采用特征提取的LSSVM估计器，以及基于PCA、DPCA、ICA特征提取方法的估计器。 2．为提高LS-SVM动态建模的实时性，本文提出一种基于限定、增长和缩减记忆模式下的递推最小二乘支持向量机算法(RLS-SVM)。三种记忆模式算法无需求逆，使最小二乘支持向量机的在线建模速度更加快捷。进一步合理运用三种建模模式，又提出了以最小化预报误差为目标的自适应建模方法，使得LS-SVM更适用于在线学习与预报的工业应用场合。仿真算例和自来水厂投药系统的仿真实例验证了该方法的有效性和优越性。 3．使最小二乘支持向量机的解具有稀疏性，本文提出一种稀疏解算法——矢量基学习。通过引入基矢量、基矢量集与解空间的概念，从分析新样本矢量与解空间的夹角入手，推导出该样本是否为基矢量的判断准则。随着新样本的到来，在线判别支持向量，从而使LS-SVM的支持向量具有稀疏性。为改进基于矢量基学习的LS-SVM动态建模实时性，进一步提出了适用于矢量基学习的增长记忆模式递推公式。仿真算例及水处理厂的应用实例验证了该方法的可行性和有效性。 4．考虑‘过度拟合’和‘野值点’对辨识模型的影响，应用正态分布函数的一些特性，本文提出基于正态分布加权的最小二乘支持向量机。根据预测误差的统计特性，以确定加权规则的参数，从而赋予训练样本不同的权值。由于考虑了生产过程中样本的一些特性，因此相对已有的加权方法，基于正态分布加权的最小二乘支持向量机更具有鲁棒性和实用性。 5．基于上述研究结论，提出基于LS-SVM自适应建模的预测控制(MPC)方法。建立MPC-PID串级控制结构：内环采用PID方法，以抗扰性为目标，具有算法简单、高速采样、快速抗扰的特点；外环采用MPC方法，以鲁棒性为目标，具有提升闭环控制系统鲁棒性的特点。以一个聚合反应器为研究对象，进行仿真研究，实验结果验证了该控制结构具有很好的控制性能。