BP神经网络分类器优化技术研究

由于其强大的学习能力，人工神经网络特别是BP神经网络已经成为研究模式识别如人脸辨识、字符识别、车牌识别（LPR）、语音识别和信号处理等分类问题的重要工具。研究证明，神经网络的性能主要取决于三个因素：首先是用于训练神经网络的样本的特征选择方法，其次是神经网络的优化算法，最后就是神经网络隐层节点的选择方法。采用合适的特征选择模型，寻找最佳的神经网络优化算法和隐层节点的选择方法，对改善BP神经网络分类器的分类识别率具有重要的理论和实用价值。 高维特征向量会给神经网络的训练增加巨大的计算开销和“过训练”的危险，因此有必要通过特征选择的方法删除无关特征，选择最小的特征子集以保持或改善神经网络分类器的泛化性能。另一方面，以神经网络分类器的误差率作为评价准则的特征选择方法能比其它方法获得更好的性能，因此它也能更好地处理那些相关特征较多的数据集。 提出了一种混合特征选择模型用于从潜在的相关特征中选择那些最重要的特征。该模型包括两部分：filter部分与wrapper部分。在filter部分，四种不同的Filter方法分别对候选特征进行独立排序，在融合后进一步生成综合特征排序，然后根据综合排序产生遗传算法（GA）的初始种群。在wrapper部分，GA算法根据神经网络的分类准确率评价特征子集，以便搜索到最优的特征子集。实验数据表明，模型不仅能有效地减少特征子集的大小，而且还进一步提高分类识别的准确率和效果。 为了克服BP算法的缺点，提出了一种集成遗传算法和禁忌搜索算法（TS）两者优点的GTA优化算法。为了在一个大的解空间搜索到一个理想的、有利于找到最优解的初始解，训练过程分为两个阶段：首先通过GA算法找到一个理想的初始解，然后通过TS算法选择最优解。不同于其他主要的算法，在第一阶段，TS算法是从被挑选的解开始搜索进程，而不是从GA产生的新种群中的随机解开始。而当前解则是候选邻域解集中未被禁忌的最优解。为了避免重复搜索已访问过的区域，通过加入新的最优解替换较早进入禁忌表的解来更新禁忌列表。当满足禁忌条件时，则以当前解为新的搜索中心，将搜索半径减半并重新进行搜索。 经验表明，神经网络的性能主要取决于网络的结构，特别是隐层节点数。网络越小越好。然而规模小的网络比规模大的误差曲线更复杂，包含更多的局部极小点。反之，规模大的网络能获得理想的精度，但过于复杂的网络结构却可能带来过训练问题，无法取得好的泛化性能。因此，选择合适的隐层节点数是一门专门的学问。为了快速找到最合适的神经网络隐层节点数，一种新的“三点式搜索”算法被提出。 如果分类误差为一个启发函数，那么隐层节点数与分类误差的关系就是一个抛物线函数，用E（H）表示。“三点式搜索”算法首先根据6个经验公式计算出隐层节点数来确定一个搜索区间，并在该区间中选取三个点Hmin, Hmid和Hmax，然后根据它们之间的误差大小关系分别调整这三个点的值，逐步缩小搜索区域，最后找到一个最优的隐层节点数。 为了动态调整神经网络的隐层节点，提出了一种结合遗传算法和强化学习Agent优点的混合学习模型。在该模型中，神经网络Agent（NNAgent）和强化学习Agent（RL Agent）彼此合作完成自动调整神经网络结构的任务。NN agent负责增加或裁减隐层节点以确定最优的节点数，同时对神经网络的权值进行优化调整。RL agent接收来自NN agent的奖励，然后根据在过去的经验和累计奖励值的基础上能产生最大奖励的优化策略调整隐层节点的影响因子，而不必像AMGA算法那样需要根据很难获取的经验公式去计算合并节点的影响因子。测试结果表明，算法不仅能减少时间开销，而且更容易找到最优的全局解，提高分类器的精度。