基于自适应学习速率的改进型BP算法研究

人工神经网络是智能计算发展的一个主流方向,目前已经广泛应用于模式识别、信号处理、知识工程、专家系统、机器控制等许多领域。BP网络由于结构简单、精度较高、易于编程、可操作性强、非线性映射能力强等优点而成为目前神经网络中应用最广泛的一种。 由于标准BP算法基于最速梯度下降法,导致标准BP算法存在收敛速度缓慢,容易陷入局部极小,隐含层的层数及其节点的数量难以确定,每种输入模式的期望输出必须已知等缺点。为此,许多学者进行研究,并且提出了一些改进型BP算法,包括:附加动量法、自适应学习速率法、弹性BP算法、Levenberg-Marquardt法、高斯-牛顿法、共轭梯度法、BP-GA算法和模拟退火算法等。 本文结合标准BP算法的原理,针对其存在的上述缺陷,提出了一种在附加动量法中添加学习速率自适应因子的新算法,并给出了新算法的数学公式。新算法基于附加动量法,因而可以避免陷入局部极小;加入了学习速率自适应因子,因而收敛效果好。 为了验证新算法的改进效果,我们将新算法用于解决异或问题和函数逼近问题,并和标准BP算法及传统改进型BP算法进行了对比。通过软件仿真发现:与传统改进型BP算法相比,新算法不仅可以改善收敛效果,避免陷入局部极小值,而且具有较好的稳定性和鲁棒性。