BP神经网络学习算法的研究

神经网络的学习算法一直是人工神经网络研究和应用领域中的一个重要问题,尤其是对前向神经网络学习算法(设计)的研究。BP神经网络是多层前向神经网络的一种,也是人工神经网络模型中最典型、应用最广泛的一种网络模型。而BP神经网络网络结构的确定目前还没有一个固定的模式或是可以套用的公式,大都是凭经验;其学习算法目前也有很多的改进,但还是难以摆脱易陷入局部极小点、收敛速度慢等缺点。这些问题严重影响了BP神经网络的性能和其应用的推广。本论文在参考了大量国内外有关文献的基础上,对BP神经网络的学习算法作了较为深入的探讨,提出了一种基于局部权值和阈值调节的学习算法,对BP算法收敛速度慢的问题有一些改善。 本论文由两部分组成:第一部分侧重于BP神经网络训练样本的选取,尤其是针对高维大样本数据。BP神经网络训练样本的选取对网络的泛化能力有较大的影响,特别,怎样从高维大样本数据中选取较优的训练样本是一个难点。本论文的第一部分运用因子分析对高维大样本数据先进行预处理,再利用分析所得的公因子进行聚类,这样除了降噪降维外,还可以从大样本数据中选出几乎可以包含全部样本特性的训练样本,从而达到对高维大样本数据的样本数和指标的降维。 第二部分针对BP算法收敛速度慢的问题,提出一种基于局部权值阈值调整的BP算法。该算法结合生物神经元学习与记忆形成的特点,针对特定的训练样本,只激发网络中的部分神经元以产生相应的输出,而未被激发的神经元产生的输出则与目标输出相差较大,那么我们就需要对未被激发的神经元权值阈值进行调整。所以本论文提出的算法是对局部神经元权值阈值的调整,而不是传统的BP算法需要对所有神经元权值阈值进行调整,这样有助于加快网络的学习速度。