深度学习自适应学习率算法研究

被引：24

作者：

蒋文斌 ^{[1
]}

彭晶 ^{[2
]}

叶阁焰 ^{[3
]}

机构：

[1] 华中科技大学服务计算技术与系统教育部重点实验室

[2] 华中科技大学集群与网格计算湖北省重点实验室

[3] 华中科技大学计算机科学与技术学院

来源：

华中科技大学学报(自然科学版) | 2019年 / 47卷 / 05期

关键词：

深度学习; 学习率; 准确率; 陈旧梯度; MXNet框架;

D O I：

10.13245/j.hust.190515

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.

引用

页码：79 / 83

页数：5