前馈神经网络的梯度-牛顿耦合学习算法

被引：2

作者：

孙开盛

梁久祯

黄德双

黄晓萍

机构：

[1] 大庆石油学院计算机科学系!黑龙江安达

[2] 北京系统工程研究所!北京

[3] 大庆石油管理局生产测井研究所!黑龙江大庆

来源：

大庆石油学院学报 | 2000年 / 02期

关键词：

前馈神经网络; 梯度-牛顿耦合学习算法; 收敛性; 一维搜索;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

针对前馈神经网络所使用的学习算法应具有收敛速度快、计算复杂度小、稳定性好的特点 ,利用梯度算法在网络学习初始阶段可使误差函数下降速度快 ,而牛顿法在学习后期可使收敛率提高 ,且具有二阶收敛速度 ,提出了一种梯度 -牛顿耦合学习算法 ;该方法充分发挥了两种算法各自的特长 ,能弥补牛顿法在网络学习初始阶段对学习初值的敏感性和梯度算法在学习后期的震荡现象等不足 ;给出了学习速度参数在线优化、带保护的拟牛顿法、梯度 -牛顿竞争法以及梯度 -牛顿分段等 4种确定学习参数的方案

引用

页码：42 / 46+110 +110

页数：6