多层自适应模块化神经网络结构设计

被引：12

作者：

张昭昭 ^{[1
]}

乔俊飞 ^{[2
]}

余文 ^{[3
]}

机构：

[1] 辽宁工程技术大学电子与信息工程学院

[2] 北京工业大学信息学部

[3] 墨西哥国立理工高级研究中心自动控制中心

来源：

计算机学报 | 2017年 / 40卷 / 12期

基金：

国家杰出青年科学基金;

关键词：

模块化神经网络; 自适应; 径向基函数; 脑式信息处理; 协同学习;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

针对单一全互连前馈神经网络难以应对复杂问题及模块化神经网络应用时其结构难以确定的问题,该文基于脑式信息处理是采用无监督学习-半监督学习-监督学习的学习机制以及大脑是由多个功能模块组成,每个功能模块中又包含多个子模块,大脑对信息的学习是有目的的选择不同功能模块中多个子模块协同学习的事实,提出一种多层自适应模块化神经网络结构设计方法.其实质是首先对所有的训练数据采用概率密度峰值快速聚类算法确定训练数据的聚类中心,以此确定模块化神经网络中功能模块的个数,其次采用条件模糊聚类实现对每个功能模块中子模块的划分并确定每个子模块的训练样本集;对功能模块中的每一个子模块采用训练误差峰值构造RBF网络的增长算法,该算法能根据分配来的训练样本自适应构建子模块结构;在子模块集成方面,采用基于距离测度的子模块集成方法,该方法能从不同的功能模块中选择不同的子模块对训练样本协同处理.该文提出的模块化神经网络结构设计方法只需要2个人工参数且学习速度提高了近10倍,在一定程度上实现了神经网络的黑箱效应.最后,文中基于人工数据集的复杂函数拟合问题、双螺旋分类问题以及真实数据集的回归问题进行了实验,并与当前国际流行的网络结构进行了对比,结果显示文中提出的模块化神经网络网络结构解决了全互连RBF网络难以应对的复杂问题,而且学习精度高,学习速度快,最终网络的泛化性能强.

引用

页码：2827 / 2838

页数：12

共 18 条

[1] 神经网络七十年:回顾与展望 [J].

焦李成 ;

杨淑媛 ;

刘芳 ;

王士刚 ;

冯志玺 .

计算机学报, 2016, 39 (08) :1697-1716

[2] 基于自适应归一化RBF网络的Q-V值函数协同逼近模型 [J].

刘全 ;

肖飞 ;

傅启明 ;

伏玉琛 ;

周小科 ;

朱斐 .

计算机学报, 2015, 38 (07) :1386-1396

[3] 一种多模块协同参与的神经网络 [J].

薄迎春 ;

乔俊飞 ;

杨刚 .

智能系统学报, 2011, 6 (03) :225-230

[4]

模块化神经网络结构分析与设计[M]. 辽宁科学技术出版社 , 王昭昭, 2014

[5]

BeeRBF: A bee-inspired data clustering approach to design RBF neural network classifiers[J] . Dávila Patrícia Ferreira Cruz,Renato Dourado Maia,Leandro Augusto da Silva,Leandro Nunes de Castro.Neurocomputing . 2016

[6]

Resource allocation based on quantum particle swarm optimization and RBF neural network for overlay cognitive OFDM System[J] . Lei Xu,Fang Qian,Yaping Li,Qianmu Li,Yu-wang Yang,Jian Xu.Neurocomputing . 2015

[7]

Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J] . Tao Xiong,Yukun Bao,Zhongyi Hu,Raymond Chiong.Information Sciences . 2015

[8] Fuzzy logic in the gravitational search algorithm for the optimization of modular neural networks in pattern recognition [J].

Gonzalez, Beatriz ;

Valdez, Fevrier ;

Melin, Patricia ;

Prado-Arechiga, German .

EXPERT SYSTEMS WITH APPLICATIONS, 2015, 42 (14) :5839-5847

[9]

A brain-inspired spiking neural network model with temporal encoding and learning[J] . Qiang Yu,Huajin Tang,Kay Chen Tan,Haoyong Yu.Neurocomputing . 2014

[10]

An online self-adaptive modular neural network for time-varying systems[J] . Junfei Qiao,Zhaozhao Zhang,Yingchun Bo.Neurocomputing . 2014

← 1 2 →