关于深度学习的综述与讨论

被引:614
作者
胡越 [1 ]
罗东阳 [1 ]
花奎 [1 ]
路海明 [2 ]
张学工 [1 ,3 ]
机构
[1] 清华大学自动化系
[2] 清华大学信息技术研究院
[3] 清华大学生命学院
关键词
深度学习; 机器学习; 卷积神经网络; 循环神经网络; 多层感知器; 自编码机; 学习算法; 机器学习理论;
D O I
暂无
中图分类号
TP181 [自动推理、机器学习];
学科分类号
140502 [人工智能];
摘要
机器学习是通过计算模型和算法从数据中学习规律的一门学问,在各种需要从复杂数据中挖掘规律的领域中有很多应用,已成为当今广义的人工智能领域最核心的技术之一。近年来,多种深度神经网络在大量机器学习问题上取得了令人瞩目的成果,形成了机器学习领域最亮眼的一个新分支——深度学习,也掀起了机器学习理论、方法和应用研究的一个新高潮。对深度学习代表性方法的核心原理和典型优化算法进行了综述,回顾与讨论了深度学习与以往机器学习方法之间的联系与区别,并对深度学习中一些需要进一步研究的问题进行了初步讨论。
引用
收藏
页码:1 / 19
页数:19
相关论文
共 12 条
[1]
关于统计学习理论与支持向量机 [J].
张学工 .
自动化学报, 2000, (01)
[2]
A fast learning algorithm for deep belief nets [J].
Hinton, Geoffrey E. ;
Osindero, Simon ;
Teh, Yee-Whye .
NEURAL COMPUTATION, 2006, 18 (07) :1527-1554
[3]
Learning to forget: Continual prediction with LSTM [J].
Gers, FA ;
Schmidhuber, J ;
Cummins, F .
NEURAL COMPUTATION, 2000, 12 (10) :2451-2471
[4]
On the momentum term in gradient descent learning algorithms.[J].Ning Qian.Neural Networks.1998, 1
[5]
Natural gradient works efficiently in learning [J].
Amari, S .
NEURAL COMPUTATION, 1998, 10 (02) :251-276
[6]
Long short-term memory [J].
Hochreiter, S ;
Schmidhuber, J .
NEURAL COMPUTATION, 1997, 9 (08) :1735-1780
[7]
SUPPORT-VECTOR NETWORKS [J].
CORTES, C ;
VAPNIK, V .
MACHINE LEARNING, 1995, 20 (03) :273-297
[8]
A logical calculus of the ideas immanent in nervous activity.[J].Warren S. McCulloch;Walter Pitts.Bulletin of Mathematical Biology.1990, 1-2
[9]
Backpropagation Applied to Handwritten Zip Code Recognition [J].
LeCun, Y. ;
Boser, B. ;
Denker, J. S. ;
Henderson, D. ;
Howard, R. E. ;
Hubbard, W. ;
Jackel, L. D. .
NEURAL COMPUTATION, 1989, 1 (04) :541-551
[10]
What Size Net Gives Valid Generalization? [J].
Baum, Eric B. ;
Haussler, David .
NEURAL COMPUTATION, 1989, 1 (01) :151-160