深层神经网络中间层可见化建模

被引：15

作者：

高莹莹

朱维彬

机构：

[1] 北京交通大学信息科学研究所

来源：

自动化学报 | 2015年 / 41卷 / 09期

关键词：

深层神经网络; 深层堆叠网络; 中间层可见化; 言语情感计算;

D O I：

10.16383/j.aas.2015.c150023

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

摘要：

深层神经网络的中间层是隐含的、未知的,这使得深层网络的学习过程不可追踪,学习结果无法解释,在一定程度上制约了深度学习的发展.本文通过引入先验知识使深层网络的中间层具有明确的含义与显性的影响关系,即中间层可见化,从而部分人工干预深层网络的内部结构,约束网络学习的方向.基于深层堆叠网络(Deep stacking network,DSN),提出两种中间层部分可见的深层神经网络:输入层部分可见的深层堆叠网络(Input-layer visible DSN,IVDSN)和隐含层部分可见的深层堆叠网络(Hidden-layer visible DSN,HVDSN),部分可见是为了保留对未知信息的提取能力和一定的容错能力.以基于文本的言语情感计算为例测试所提网络的有效性,结果表明先验知识的引入有助于提升深层神经网络的性能;所提两种网络均可实现中间层的部分可见化,其中HVDSN结构更精简,性能也更优.

引用

页码：1627 / 1637

页数：11

共 4 条

[1] Deep Convolutional Neural Networks for Large-scale Speech Tasks[J] . Tara N. Sainath,Brian Kingsbury,George Saon,Hagen Soltau,Abdel-rahman Mohamed,George Dahl,Bhuvana Ramabhadran.Neural Networks . 2015
[2] EMOTIONS IN TEXT: DIMENSIONAL AND CATEGORICAL MODELS[J] . Rafael A. Calvo,Sunghwan Mac Kim.Computational Intelligence . 2013 (3)
[3] Describing the emotional states that are expressed in speech[J] . Roddy Cowie,Randolph R. Cornelius.Speech Communication . 2002 (1)
[4] An argument for basic emotions[J] . Paul Ekman.Cognition & Emotion . 1992 (3-4)

← 1 →