深度学习:多层神经网络的复兴与变革

被引：36

作者：

山世光

阚美娜

刘昕

刘梦怡

邬书哲

机构：

[1] 中国科学院计算技术研究所

来源：

科技导报 | 2016年 / 34卷 / 14期

关键词：

深度神经网络; 深度信念网络; 深度自编码网络; 深度卷积神经网络; 长短期记忆递归神经网络; 语音识别; 计算机视觉;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

摘要：

人工智能(AI)已经进入一个新的蓬勃发展期。推动这一轮AI狂澜的是三大引擎,即深度学习(DL)、大数据和大规模并行计算,其中又以DL为核心。本文回顾本轮"深度神经网络复兴"的基本情况,概要介绍常用的4种深度模型,即:深度信念网络(DBN)、深度自编码网络(DAN)、深度卷积神经网络(DCNN)及长短期记忆递归神经网络(LSTM-RNN)。简要介绍深度学习在语音识别和计算机视觉领域几个重要任务上的应用效果情况。为便于应用DL,介绍了几种常用的深度学习开源平台。对深度学习带来的启示和变革做了一些开放式的评述,讨论了该领域的开放问题和发展趋势。

引用

页码：60 / 70

页数：11

共 8 条

[1] A fast learning algorithm for deep belief nets [J].

Hinton, Geoffrey E. ;

Osindero, Simon ;

Teh, Yee-Whye .

NEURAL COMPUTATION, 2006, 18 (07) :1527-1554

[2] Long short-term memory [J].

Hochreiter, S ;

Schmidhuber, J .

NEURAL COMPUTATION, 1997, 9 (08) :1735-1780

[3] Backpropagation Applied to Handwritten Zip Code Recognition [J].

LeCun, Y. ;

Boser, B. ;

Denker, J. S. ;

Henderson, D. ;

Howard, R. E. ;

Hubbard, W. ;

Jackel, L. D. .

NEURAL COMPUTATION, 1989, 1 (04) :541-551

[4]

Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J] . Kunihiko Fukushima.Biological Cybernetics . 1980 (4)

[5]

Cognitron: A self-organizing multilayered neural network[J] . Kunihiko Fukushima.Biological Cybernetics . 1975 (3)

[6]

A logical calculus of the ideas immanent in nervous activity[J] . Warren S. McCulloch,Walter Pitts.The Bulletin of Mathematical Biophysics . 1943 (4)

[7]

Deeply learned face representations are sparse, selective, and robust .2 Sun Y,Wang X,Tang X. Computer Vision and Pattern Recognition (CVPR) . 2015

[8]

Baby talk:understanding and generating simple image descriptions .2 Kulkarni G,Premraj V,Dhar S,et al. IEEE Transactions on Pattern Analysis and Machine Intelligence . 2013

← 1 →