人工神经网络优化算法研究

优化问题是一个古老的问题,但同时也最具有现实的意义。本文主要探讨基于神经网络的BP算法和PSO算法的优化问题。首先,分析了BP神经网络及BP算法和PSO算法特点;然后,在已有BP算法在权值调整公式中设计了含有动量系数为α的动量项的基础上对其进行了改进,并进行了公式推导;最后,阐述了改进的PSO算法组成及算法步骤。 传统BP算法实质上仅对权值w进行调整,而假定各神经元的转换函数为相同的、不可变更的,即信息仅分布存储于w之中。虽然在权值调整公式中引入了动量项,但是忽视了对转换函数的调整,从而存在网络学习收敛速度慢等一系列问题。本文提出了同时对权值w和转换函数系数进行调整的改进BP算法。改善了BP算法后期收敛速度慢的问题,提高了算法的收敛速度;增强了结点存储信息的能力,从而使网络具有更强的非线性映射能力。 在PSO算法研究中,本文提出了一种基于改进的方向进化算子的PSO算法。改进的算法由改进的方向进化算子和标准的微粒群算法组成,方向进化算子通过选择一些好的粒子进行构造,其他的粒子则会向进化算子靠近。在改进方向进化算子的构造过程中,引入了迁移操作,增加了搜索空间的多样性。实验证明,改进算法提高了标准微粒群算法寻找最优解的能力。