极限学习机隐含层节点选择算法研究

本文主要研究一种新的机器学习方法,即极限学习机(ELM)。作为一种针对单隐层前馈神经网络(SLFNs)的学习算法,ELM具有快速的学习速度和很好的泛化能力。隐含层节点在ELM算法中起着重要的作用,确定隐含层节点的方法有两种:一是剪枝法;二是增量学习方法。本文中我们介绍了两种剪枝方法,最优剪枝ELM(OP-ELM)和Tikhonov正则 OP-ELM(TROP-ELM)。我们的主要工作是ELM的增量学习方法,增量学习即首先初始化一个较小的网络,然后向网络中增加新的节点,直到生成一个我们满意的网络。当新的隐含层节点加入到已经存在的网络中时,重新训练网络往往比较费时,误差最小化极限学习机(EM-ELM)是一种增量的计算输出权值的快速方法。然而,由于过拟合等原因,EM-ELM不能总是得到好的泛化能力。在此,根据结构风险最小化准则,我们提出了一种基于正则化的EM-ELM改进方法,即增量正则化极限学习机(IR-ELM)。当我们逐一的向网络中增加新的隐含层节点时,IR-ELM可以快速的更新输出权值,同时保证网络具有很好的泛化能力,从而避免了上述提到的问题。同时,我们还提出了 IR-ELM的提升方法(EIR-ELM),它可以在一组候选隐含层节点中选出较好的一个加入到网络中,进一步提升了算法的泛化能力,同时生产更紧凑的网络。针对分类和回归问题,我们在基准数据集上与原始ELM算法,OP-ELM和TROP-ELM算法及EM-ELM和EEM-ELM算法进行了对比实验,验证了IR-ELM和EIR-ELM的有效性。