深度神经网络的压缩研究

被引：12

作者：

韩云飞 ^{[1
,2
,3
]}

蒋同海 ^{[1
,2
,3
]}

马玉鹏 ^{[1
,2
,3
]}

徐春香 ^{[1
,2
,3
]}

张睿 ^{[1
,2
,3
]}

机构：

[1] 中国科学院新疆理化技术研究所

[2] 新疆民族语音语言信息处理实验室

[3] 中国科学院大学

来源：

计算机应用研究 | 2018年 / 35卷 / 10期

关键词：

神经网络; 压缩; 网络删减; 参数共享;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

摘要：

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案。首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用K-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MNIST数据集上完成手写数字识别功能的Le Net-300-100网络和修改得到的Le Net-300-240-180-100网络分别压缩了9.5×和12.1×。基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。

引用

页码：2894 / 2897+2903 +2903

页数：5