基于注意力模型的混合学习算法

被引：17

作者：

杨博

苏小红

王亚东

机构：

[1] 哈尔滨工业大学计算机科学与技术学院

[2] 哈尔滨工业大学计算机科学与技术学院黑龙江哈尔滨

来源：

软件学报 | 2005年 / 06期

关键词：

BP算法; 人工神经网络; 注意力模型; 遗传算法; 饱和区域; 局部极值;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

140502 [人工智能];

摘要：

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中“选择性注意力模型”的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.

引用

页码：1073 / 1080

页数：8

共 12 条

[1]

用遗传算法优化神经网络初始权重的方法 [J].

翟宜峰 ;

李鸿雁 ;

刘寒冰 ;

苑希民 ;

不详 .

吉林大学学报(工学版) , 2003, (02) :45-50

[2]

基于遗传与BP混合算法神经网络预测模型及应用 [J].

殷峻暹 ;

陈守煜 ;

邱菊 .

大连理工大学学报, 2002, (05) :594-598

[3]

进化神经网络中的变异算子研究 [J].

郑志军 ;

郑守淇 .

软件学报, 2002, (04) :726-731

[4]

遗传算法在神经网络控制中的应用与实现 [J].

杨国军 ;

崔平远 ;

李琳琳 ;

不详 .

系统仿真学报 , 2001, (05) :567-570

[5]

基于约束区域神经网络的动态遗传算法 [J].

陶卿 ;

曹进德 ;

孙德敏 ;

方廷健 .

软件学报, 2001, (03) :462-467

[6]

一种基于免疫调节和共生进化的神经网络优化设计方法 [J].

张军 ;

刘克胜 ;

王煦法 .

计算机研究与发展, 2000, (08) :924-930

[7]

A two-level subspace evolutionary algorithm for solving multi-modal function optimization problems[J] Li Yan;Kang Zhuo Wuhan University Journal of Natural Sciences 2003,

[8]

知识科学与计算科学[M] 陆汝钤主编; 清华大学出版社 2003,

[9]

世纪之交的知识工程与知识科学[M] 陈汝钤主编; 清华大学出版社 2001,

[10]

神经网络、模糊系统及其在运动控制中的应用[M] 丛爽著; 中国科学技术大学出版社 2001,

← 1 2 →