基于数值计算方法的BP神经网络及遗传算法的优化研究

人工神经网络和遗传算法都是将生物学原理应用于计算机科学的仿生学理论成果。由于它们具有极强的解决问题的能力，近年来引起了众多学者的兴趣与参与，已成为学术界跨学科的热门专题之一。 在人工神经网络的实际应用中，约90％的人工神经网络模型都是采用BP网络或者是它的变化形式，它也是前馈网络的核心部分，BP网络广泛应用于函数逼近、模式识别／分类、数据压缩等。现已成为人工智能研究的重要领域之一。然而，由于BP算法是一种梯度下降搜索方法，因而不可避免地存在固有的不足，如收敛速度慢、易陷入误差函数的局部极小点，对于较大的搜索空间，多峰值和不可微函数不能有效搜索到全局极小点。 遗传算法作为一种智能化的全局搜索算法，自80年代问世以来便在数值优化、系统控制、结构优化设计等诸多领域的应用中展现出其特有的魅力，同时也暴露出许多不足和缺陷。如完全依赖概率随机地进行操作，虽然可以避免陷入局部极小，但受寻优条件的限制，一般只能得到全局范围内的近似最优解，很难得到最优解；对参数采用二进制编码，人为地将连续空间离散化，导致了计算精度与字符串长度、运算量之间的矛盾；采用随机优化技术，所以要花费大量的时间；算法在交叉、变异的进化过程中随机性较强，致使搜索效率低下，具体表现为进化迭代过程中会出现子代最优个体劣于父代最优个体的“退化”现象；遗传算法虽然具有很强的全局搜索能力，但其局部搜索能力较弱(易出现早熟收敛现象)。 本文主要工作： (1) 对BP神经网络的缺陷进行分析研究，针对BP神经网络收敛度慢的不足，对经典BP网络的单极性Sigmoid传输函数和双极性Sigmoid函数进行数学分析，给出二者不同的数学性质和它们的优先选择方法。 (2) 利用数值计算优化方法对BP神经网络进行改进，提高其收敛速度，本文分别用拟牛顿法、最优步长法和共轭梯度法对BP神经网络学习法进行改进，对各种改进方法进行分析比较，给出各自适用的网络规模，并对其收敛性进行分析证明。 (3) 利用数值计算优化方法对遗传算法的交叉算子、变异算子、编码方式及适应度函数等进行分析研究，给出了基于一维极小化问题的最优策略(Fibonacci法)和近似最优策略(黄金分割法)的交叉和变异算子。 (4) 将擅长全局搜索的遗传算法和局部寻优能力较强的BP算法结合起来，根据GA的交叉、变异和选择算子在全变量空间以较大概率搜索全局解和在解的点附近利用BP神经网络能快速、精确地收敛的特点，融合二者的优点，将二者有机结合，利用遗传算法同时训练神经网络权值和拓扑结构，可以辟免陷入局部极小值，提高算法收敛速度，很快得到问题的全局最优解。 (5) 通过试验对改进后的BP神经网络算法、遗传算法和他们融合方法进行了试验验证。