神经网络中LMBP算法收敛速度改进的研究

文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-MarquardtBP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈。通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量。此外,简化求增广MarquardtSensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量。笔者用MicrosoftVisualC++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度。文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验。结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍。