一种用于卷积神经网络压缩的混合剪枝方法

被引：21

作者：

靳丽蕾

杨文柱

王思乐

崔振超

陈向阳

陈丽萍

机构：

[1] 河北大学网络空间安全与计算机学院

来源：

小型微型计算机系统 | 2018年 / 39卷 / 12期

关键词：

卷积神经网络; 模型压缩; 网络剪枝; 混合剪枝;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

摘要：

在模型压缩中,单独使用权重剪枝或卷积核剪枝对卷积神经网络进行压缩,压缩后的模型中仍然存在较多冗余参数.针对这一问题,提出了一种结合权重剪枝和卷积核剪枝的混合剪枝方法.首先,剪除对卷积神经网络整体精度贡献较小的卷积核;其次,对剪枝过的模型再进行权重剪枝实现进一步的模型压缩.在剪枝过程中通过重新训练来恢复模型精度.在MNIST和CIFAR-10数据集上的实验结果表明,提出的混合剪枝方法在几乎不降低模型精度的前提下,将LeNet-5和VGG-16分别压缩了13. 01倍和19. 20倍.

引用

页码：2596 / 2601

页数：6

共 6 条

[1] SAT-CNN:基于卷积神经网络的遥感图像分类算法
张德园
常云翔
张利国
石祥滨
[J]. 小型微型计算机系统, 2018, 39 (04) : 859 - 864
[2] 深度神经网络的压缩研究
韩云飞
蒋同海
马玉鹏
徐春香
张睿
[J]. 计算机应用研究, 2018, 35 (10) : 2894 - 2897+2903
[3] Gradient-based learning applied to document recognition
Lecun, Y
Bottou, L
Bengio, Y
Haffner, P
[J]. PROCEEDINGS OF THE IEEE, 1998, 86 (11) : 2278 - 2324
[4] Densely Connected Convolutional Networks .2 Huang G,Liu Z,Maaten L V D,et al. IEEE Conference on Computer Vision and Pattern Recognition (CVPR) . 2017
[5] Pruning convolutional neural netw orks for resource efficient transfer learning .2 Molchanov P,Tyree S,Karras T,et al. Proceedings of the International Conference on Learning Representation (ICLR) . 2017
[6] Learning multiple layers of features from tiny images .2 Krizhevsky,A. University ofToronto . 2009

← 1 →