基于自适应学习率的深度信念网设计与应用

被引：19

作者：

乔俊飞 ^{[1
,2
]}

王功明 ^{[1
,2
]}

李晓理 ^{[1
]}

韩红桂 ^{[1
,2
]}

柴伟 ^{[1
,2
]}

机构：

[1] 北京工业大学信息学部

[2] 计算智能与智能系统北京市重点实验室

来源：

自动化学报 | 2017年 / 43卷 / 08期

基金：

国家杰出青年科学基金;

关键词：

深度信念网; 自适应学习率; 对比差度; 收敛速度; 性能分析;

D O I：

10.16383/j.aas.2017.c160389

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adaptive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.

引用

页码：1339 / 1349

页数：11

共 11 条

[1] 一种基于胶质细胞链的改进深度信念网络模型 [J].