ReLU激活函数优化研究

被引：108

作者：

蒋昂波

王维维

机构：

[1] 浙江大学超大规模集成电路设计研究所

来源：

传感器与微系统 | 2018年 / 37卷 / 02期

关键词：

门控循环单元; 神经网络; 激活函数; 双曲正切线性单元;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

门控循环单元(GRU)是一种改进型的长短期记忆模型(LSTM)结构,有效改善了LSTM训练耗时的缺点。在GRU的基础上,对激活函数sigmoid,tanh,ReLU等性能进行了比较和研究,详细分析了几类激活函数的优缺点,提出了一种新的激活函数双曲正切线性单元(TLU)。实验证明:新的激活函数既能显著地加快深度神经网络的训练速度,又有效降低训练误差。

引用

页码：50 / 52

页数：3