权值初始化与激励函数调整相结合的学习算法

被引：6

作者：

武妍

王守觉

机构：

[1] 同济大学计算机科学与工程系

[2] 同济大学半导体与信息技术研究所上海同济大学半导体与信息技术研究所

[3] 上海

[4] 上海中国科学院半导体研究所神经网络实验室

[5] 北京

来源：

计算机工程与应用 | 2004年 / 30期

关键词：

前向神经网络; 权值初始化; 独立元分析; 激励函数;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

提出了一种基于独立元分析(ICA)方法的权值初始化方法和动态调整S型激励函数的斜率相结合的神经网络学习算法。该方法利用ICA从输入数据中提取显著的特征信息来初始化输入层到隐含层权值。而且通过使神经网络的输出位于激励函数的活动区域,对隐含层到输出层的权值进行初始化。在学习过程中,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。最后通过计算机仿真实际的基准问题,验证了论文提出的方法的有效性。实验结果表明,所提出的方法能有效地加快多层前向神经网络的训练过程。

引用

页码：23 / 25+44 +44

页数：4

共 11 条

[1]

Determininginitialweightsoffeedforwardneuralnetworksbasedonleastsquaresmethod. YFYam,TWSChow. NeuralProcessLett . 1995

[2]

UCIRepositoryofMachineLearningDatabases. ftp://ftp.ics.uci.edu/pub/machine-learning-databases .

[3]

Aclassofneuralnet-worksforindependentcomponentsanalysis. JKarhunen,EOja,LWang,RYigarioetal. IEEETransNeuralNetworks . 1997

[4]

Aninformation-maximizationapproachtoblindseparationandblinddeconvolution. AJBell,TJSejnowski. Neural Computing and Applications . 1995

[5]

Fastandrobustfixed-pointalgorithmforindependentcomponentanalysis. AHyvarinen. IEEETransOnNeuralNetworks . 1999

[6]

AdvancesinIndependentComponentAnalysis. MGirolami. . 2000

[7]

Newapproachtoselectionofinitialvaluesofweightsinneuralfunctionapproximation. SOsowski. ElectronLetter . 1993

[8]

Aweightvalueinitializationmethodforimprovinglearningperformanceofthebackpropagationalgorithminneuralnetworks. HShimodaria. ProceedingsoftheInternationalConferenceonToolswithArtificialIntelligence . 1994

[9]

Anindependentcomponentanalysisbasedweightinitializationmethodformultiplayerpercep-trons. YFYam,CTLeung,PKSTametal. Neurocomputing . 2002

[10]

Anewmethodindeterminingtheinitialweightsoffeedforwardneuralnetworks. YFYam,TWSChow,CTLeung. Neurocomputing . 1997

← 1 2 →