基于极限学习的系统辨识方法及应用研究

众所周知,神经网络具有良好的系统辨识能力,但BP、SVM等传统神经网络存在许多缺陷,如易收敛到局部最小点、收敛速度慢甚至不能收敛、过拟合问题、最优的网络隐层节点数不能确定等。此外,目前人工神经网络仅仅能够逼近连续系统,而对于非线性混合系统则无法逼近。针对上述问题,本文围绕近年来发展起来的极限学习理论展开研究,重点研究基于极限学习理论的连续系统和混合系统辨识新理论与新方法。本文主要研究成果如下： 1.提出混合混沌优化极限学习机算法 传统的极限学习理论认为,影响单隐层前馈神经网络收敛性能的只有网络输出权值,而与隐层神经元的输入权值与阈值参数没有关系。可是,由于网络输出权值是通过最小二乘法计算而获得的,所以这确保了其为广义系统最小二乘解中的最小解。这一计算方法一方面提高了极限学习机的学习速度,可另一方面却直接导致了大量“无用神经元”的出现。特别是对于增量型极限学习机,由于HuangGB等人已经证明具有k+1个神经元的极限学习机输出误差小于等于第k次迭代(具有k个神经元)所获得的输出误差,因此减小网络误差的唯一途径就是不断地递增极限学习机中的隐层神经元数目。但随着神经元数量的增加,这些神经元所对应的网络输出权值也将逐渐减小,结果使得这些神经元对网络终端输出影响很小,便出现了“无用神经元”。此外,若一个极限学习机具有k个神经元,则需要进行k次的迭代计算。基于上述原因,为了降低网络复杂度,提高极限学习机学习效率,降低计算耗时,本文在通过大量的对比实验以及理论分析的基础上,证明了极限学习机的收敛速度与神经元的输入权值与阈值依然存在联系,即若选取出神经元的输入权值与阈值的最优值将大大提高极限学习机的学习效率。在该思想指导下,结合混沌优化方法与类电磁优化方法的互补特性,以及贪婪搜索与人工情感的互补特性,提出了基于混合混沌优化方法的极限学习机算法。实验显示这种方法可以很好的压缩极限学习机神经元数量,简化网络结构,且收敛速度有了明显提高。 2.提出双端增量型极限学习机算法 基于上述证明的极限学习机中隐层神经元参数的优劣将极大的影响网络收敛速度,本文构建了误差双向反馈的双端极限学习算法。不同于传统的极限学习算法中随机选取隐层神经元参数,该算法仅仅通过随机方式生成第奇数个神经元参数,而通过反向反馈误差计算第偶数个神经元参数。本文证明了所提算法的收敛性,并通过理论分析获得了一个重要的输出权值——误差椭圆方程。通过该椭圆方程从理论上证明了所提出的双端极限学习机能够仅仅使用两个神经元(迭代两次)就可以以零误差地逼近任意连续系统。实验结果显示,该算法能够在训练的初始阶段就获得“极限”的系统辨识结果,同其他极限学习算法相比,该算法的学习速度是传统增量型极限学习机学习速度的几十到几百倍。 3.提出基于连续系统辨识的父代子代渐进学习机算法 通过大量实验与理论分析,本文首先分析了神经网络实际应用中的误差下界,然后提出了神经网络系统辨识中的极限误差概念,并定性的指出不论使用何种单神经网络训练方法如BP、SVM或者极限学习机(SVM已经被证明仅是极限学习机的某种特例)等,对于同一实际系统,其系统辨识的极限误差趋于同一水平。本文利用上述所提出的双端极限学习机构造一个多神经网络学习系统以降低神经网络极限误差,并将其命名为父代子代渐进学习机。该算法根据“父代子代生长原则”将训练集中样本分类成c个子系统,并通过c个双端极限学习机对连续系统进行辨识。实验结果显示,所提算法获得的测试误差是目前已存的其他神经网络算法其极限误差的二分之一到三分之一。换言之,父代子代渐进学习机能够提供其他单神经网络结构所完全无法获得的连续系统辨识精度。 4.提出基于混合系统辨识的渐进学习机算法 混合系统在自然界中普遍存在且若能获得混合系统的辨识模型,则可以很确切的描述出跳变或者非连续的行为方式,对某些连续与非连续部分高度关联的系统而言,如机器人、化学加工等都能够发挥巨大的作用。可是由于混合系统既包括连续变量过程,又包括跳变过程,且它们又交互作用,目前没有针对一般混合系统,特别是非线性混合系统的辨识方法。本文将基于神经网络的系统辨识从连续系统推广到混合系统,提出了通用的非线性混合系统辨识算法——渐进学习机。该算法首先分类混合系统中哪些训练样本属于同一最大连续子系统,再训练每一个子连续系统,最终辨识整个混合系统。实验结果显示,相比于传统的神经网络只能辨识连续系统,该算法可以辨识任意非线性混合系统,包括随机切换系统、分段连续系统等各种混合系统,从而将神经网络的应用从连续系统扩充到了混合系统,极大的丰富和发展了神经网络系统辨识的理论与方法体系。 5.极限学习机在除冰机器人控制系统中的应用 电力线路结冰或积雪常会引起线路的断线、倒杆、倒塔、断电和信号阻断等事故,给电力系统的安全稳定运行造成巨大威胁。目前,基本上仍采用人工沿输电线逐塔巡视的作业方式,作业劳动强度大、费用高且危险性大。随着机器人被广泛应用各种领域,近10年来,机器人来替代人力进行高压输电线路上的故障探测与定位,线路除冰等工作已越来越受到广泛关注。这种新技术具有功耗小、成本低、效率高、人员无伤亡、无需停电等优点。可是由于高压输电线路作业机器人不同于一般的工业机器人,其运行过程中必须保证机器人的重力平衡,还必须考虑机器人受到的摩擦力,在越障、爬坡、下坡、破冰时受到的阻力以及在大风、冰冻等恶劣天气下外界施加的阻力等不确定因素,因此除冰机器人的动力学模型是一种典型的高复杂度、非线性连续系统。可是,传统的辨识方法无法获得良好的辨识精度,从而使得除冰机器人难于精确控制,这大大的阻碍了高压输电线路作业机器人的实际应用。针对上述问题,本文结合双端极限学习机与序贯极限学习机对高压输电线路除冰机器人进行系统辨识,然后再利用模糊神经网络作为系统控制器。实验部分,我们首先通过仿真比较所提控制算法与其他传统控制算法的仿真结果,验证了所提控制算法具有的强鲁棒性、实时性等优点,最后通过室内除冰机器人线上实验进一步验证了所提算法的实际应用价值。 论文最后总结了全文的主要工作和创新性研究成果,并对下一步研究工作进行了展望。