基于多表达式编程的神经网络自动优化方法及其应用研究

人工神经网络由于其强大的学习、并行处理、自组织和自适应能力和容错性,近年来已经成功的应用于科学研究和工程领域,如函数逼近、模式识别、分类、预测和控制等领域。但是,神经网络的性能是高度依赖于它的网络结构和参数的,对于同一个问题的解决,可能存在多个结构不同且性能不同的神经网络。根据具体的问题,所设计的神经网络可能是多个隐含层和输入输出层,每个神经元的激励函数可以是不同的,但是有些时候则可能是输入层和输出层直接连接而没有中间层。设计一个神经网络的最大问题就是给定一个具体问题如何寻找与之相适应的网络结构和相关参数。 近年来,进化算法作为一种基于自然选择原理的启发式搜索算法已经被人们用来优化神经网络。不同于传统搜索算法的是,进化算法可以启发式的同时搜索问题空间里的多个解而因此增大找到全局最优点的可能。本文研究的计算模型就是基于一种树结构的进化算法—多表达式编程的神经网络的自动设计,它可以同时优化神经网络的网络结构和参数。本文提出一种使用多表达式编程来线性的表示神经网络并可以采用进化原理进化出最优结构和参数的神经网络的算法,我们将这种模型称为多表达式神经网络。 多表达式神经网络可以看作是一种采用树形结构和一组运算符集合构成的非常规神经网络,可用于解决许多分类与预测问题。多表达式编程自动设计的神经网络与普通神经网络相比具有如下优点:层与层之间的连接不必是完全的并且允许跨层连接的存在、隐含层和输出层的非线性神经元具有不同的或可变的激励函数、神经树通过与环境的交互具有自动选择输入变量或降低输入空间维数的功能。 本文系统地介绍了人工神经网络、多表达式编程、进化神经网络和柔性神经树的基本理论、构成和实现方法,在总结前人研究的基础上,提出了使用多表达式编程技术自动设计神经网络的方法以及其应用研究。具体内容如下: (1)对神经网络的基本理论进行了详细的综述。首先概述了神经网络的特点、产生和发展历史,着重介绍了神经网络的基本思想、研究领域和应用发展情况,然后从理论和应用研究上综述神经网络的研究现状,总结了神经网络设计中的难点问题。 (2)介绍了多表达式编程算法。首先概述了进化算法的基本思想,重点介绍了遗传编程的基本理论,然后阐述了多表达式编程和改进的多表达式编程模型的定义和实现方法。 (3)研究了进化神经网络和柔性神经树的特点和实现方法,在此基础上提出了基于多表达式编程的神经网络的自动设计,改进了柔性神经树无法同时优化结构和参数的缺点。 (4)将多表达式编程自动设计的神经树模型应用于时间序列预测和分类预测等领域。各种仿真实验,如股票指数预测,外汇汇率预测和基因微阵列分类预测等实验的结果都表明多表达式编程自动设计的神经网络模型比标准神经网络模型的预测结果更具有效性和可靠性。