结合剪枝与流合并的卷积神经网络加速压缩方法

被引：6

作者：

谢斌红 ^{[1
]}

钟日新 ^{[1
]}

潘理虎 ^{[1
,2
]}

张英俊 ^{[1
]}

机构：

[1] 太原科技大学计算机科学与技术学院

[2] 中国科学院地理科学与资源研究所

来源：

计算机应用 | 2020年 / 40卷 / 03期

关键词：

卷积神经网络; 模型压缩; 网络剪枝; 流合并; 冗余;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用,因此有必要对卷积神经网络现有的结构进行优化压缩和加速。为了解决这一问题,提出了一种结合剪枝、流合并的混合压缩方法。该方法通过不同角度去压缩模型,进一步降低了参数冗余和结构冗余所带来的内存消耗和时间消耗。首先,从模型的内部将每层中冗余的参数剪去;然后,从模型的结构上将非必要的层与重要的层进行流合并;最后,通过重新训练来恢复模型的精度。在MNIST数据集上的实验结果表明,提出的混合压缩方法在不降低模型精度前提下,将LeNet-5压缩到原来的1/20,运行速度提升了8倍。

引用

页码：621 / 625

页数：5

共 38 条

[1]

Hardware-oriented approxi-mation of convolutional neural networks. GYSEL P,MOTAMEDI M,GHIASI S. https://arxiv. org/pdf/ 1604.03168.pdf . 2019

[2]

Hardware-oriented approxi-mation of convolutional neural networks. GYSEL P,MOTAMEDI M,GHIASI S. https://arxiv. org/pdf/ 1604.03168.pdf . 2019

[3]

Model com-pression. BUCILUǎC,CARUANA R,NICULESCU-MIZIL A. Proceedings of the 12th ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining . 2006

[4]

Model com-pression. BUCILUǎC,CARUANA R,NICULESCU-MIZIL A. Proceedings of the 12th ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining . 2006

[5]

Like what you like:knowledge distill vianeuron selectivity transfer. HUANG Z,WANG N. https://arxiv.org/pdf/ 1707.01219.pdf . 2019

[6]

Like what you like:knowledge distill vianeuron selectivity transfer. HUANG Z,WANG N. https://arxiv.org/pdf/ 1707.01219.pdf . 2019

[7]

Deep Rebirth:accelerating deep neu-ral network execution on mobile devices. LI D,WANG X,KONG D. Proceedings of the32nd AAAI Conference on Artificial Intelligence . 2018

[8]

Deep Rebirth:accelerating deep neu-ral network execution on mobile devices. LI D,WANG X,KONG D. Proceedings of the32nd AAAI Conference on Artificial Intelligence . 2018

[9]

Second order derivatives for networkpruning:optimal brain surgeon. HASSIBI B,STORK D G. Proceedings of the 5th Interna-tional Conference on Neural Information Processing Systems . 1992

[10]

Second order derivatives for networkpruning:optimal brain surgeon. HASSIBI B,STORK D G. Proceedings of the 5th Interna-tional Conference on Neural Information Processing Systems . 1992

← 1 2 3 4 →