DBN网络的深度确定方法

被引:52
作者
潘广源
柴伟
乔俊飞
机构
[1] 北京工业大学电子信息与控制工程学院
基金
国家杰出青年科学基金; 北京市自然科学基金; 国家自然科学基金重点项目;
关键词
深度信念网络; 网络深度; 无监督学习; 数字识别;
D O I
10.13195/j.kzyjc.2013.1390
中图分类号
TP183 [人工神经网络与计算];
学科分类号
081104 ; 0812 ; 0835 ; 1405 ;
摘要
针对DBN网络隐含层层数难以选择的问题,首先从数学生物学角度分析了随机初始化的梯度下降法导致网络训练失败的原因,并进行验证,证明了RBM重构误差与网络能量的正相关定理;然后根据隐含层和误差的关系,提出一种基于重构误差的网络深度判断方法,在训练过程中自组织地训练网络,使其能够以一种接近人类处理问题的方式解决AI问题.手写数字识别的实验表明,该方法能够有效提高运算效率,降低运算成本.
引用
收藏
页码:256 / 260
页数:5
相关论文
共 1 条
[1]   基于Deep Belief Nets的中文名实体关系抽取 [J].
陈宇 ;
郑德权 ;
赵铁军 .
软件学报, 2012, 23 (10) :2572-2585