基于非线性修正函数的卷积神经网络图像识别研究

被引：19

作者：

余萍 ^{[1
]}

赵继生 ^{[1
]}

张洁 ^{[2
]}

机构：

[1] 华北电力大学电子与通信工程系

[2] 鞍山师范学院物理科学与技术学院

来源：

科学技术与工程 | 2015年 / 15卷 / 34期

关键词：

深度学习; 卷积神经网络; 模式识别; 非线性修正函数;

D O I：

暂无

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

为了解决深度学习中使用线性修正函数Re LUs对于模型的表达能力欠缺,而柔性光滑函数Softplus无稀疏表达能力的问题。基于Re LUs和Softplus函数各自的优点,将Re LUs函数的稀疏表达能力和Softplus函数的光滑特性结合起来,提出一种使用非线性修正函数作为神经元激励的方法。分析了不同激活函数的性能,并且用卷积神经网络在MNIST和CIFAR-10标准数据库上进行图像分类识别实验。实验结果表明,使用非线性修正激活函数,不仅可以加快网络收敛速度,也可以提高识别准确率;同时还不依赖于池化方法的选择。

引用

页码：221 / 225

页数：5

共 5 条

[1] 深度学习的研究与发展 [J].

张建明 ;

詹智财 ;

成科扬 ;

詹永照 .

江苏大学学报(自然科学版), 2015, 36 (02) :191-200

[2] 深度学习研究综述 [J].

尹宝才 ;

王文通 ;

王立春 .

北京工业大学学报, 2015, 41 (01) :48-59

[3] Convolutional Neural Networks for Speech Recognition [J].

Abdel-Hamid, Ossama ;

Mohamed, Abdel-Rahman ;

Jiang, Hui ;

Deng, Li ;

Penn, Gerald ;

Yu, Dong .

IEEE-ACM TRANSACTIONS ON AUDIO SPEECH AND LANGUAGE PROCESSING, 2014, 22 (10) :1533-1545

[4]

Feature learning based on SAE-PCA network for Human gesture recognition in RGBD images[J] . Shao-Zi Li,Bin Yu,Wei Wu,Song-Zhi Su,Rong-Rong Ji.Neurocomputing . 2014

[5]

Improving deep neural networks for LVCSR using rectified linear units and dropout. Dahl G E,Sainath T N,Hinton G E. IEEE International Conference on Acoustics,Speech and Signal Processing . 2013

← 1 →