基于自适应学习率优化的AdaNet改进

被引：27

作者：

刘然 ^{[1
,2
,3
,4
]}

刘宇 ^{[1
,2
,3
,4
]}

顾进广 ^{[1
,2
,3
,4
]}

机构：

[1] 武汉科技大学计算机科学与技术学院

[2] 智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学)

[3] 武汉科技大学大数据科学与工程研究院

[4] 国家新闻出版署富媒体数字出版内容组织与知识服务重点实验室(武汉科技大学)

来源：

计算机应用 | 2020年 / 40卷 / 10期

关键词：

AdaNet; 神经架构搜索; 集成学习; 自适应学习率方法; 自动机器学习;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

140502 [人工智能];

摘要：

人工神经网络的自适应结构学习(AdaNet)是基于Boosting集成学习的神经结构搜索框架,可通过集成子网创建高质量的模型。现有的AdaNet所产生的子网之间的差异性不显著,因而限制了集成学习中泛化误差的降低。在AdaNet设置子网网络权重和集成子网的两个步骤中,使用Adagrad、RMSProp、Adam、RAdam等自适应学习率方法来改进现有AdaNet中的优化算法。改进后的优化算法能够为不同维度参数提供不同程度的学习率缩放,得到更分散的权重分布,以增加AdaNet产生子网的多样性,从而降低集成学习的泛化误差。实验结果表明,在MNIST(Mixed National Institute of Standards and Technology database)、Fashion-MNIST、带高斯噪声的Fashion-MNIST这三个数据集上,改进后的优化算法能提升AdaNet的搜索速度,而且该方法产生的更加多样性的子网能提升集成模型的性能。在F1值这一评估模型性能的指标上,改进后的方法相较于原方法,在三种数据集上的最大提升幅度分别为0.28%、1.05%和1.10%。

引用

页码：2804 / 2810

页数：7

共 7 条

[1]

The general inefficiency of batch training for gradient descent learning [J].