基于特征复用的卷积神经网络模型压缩方法

被引：5

作者：

冀树伟 ^{[1
]}

杨喜旺 ^{[1
]}

黄晋英 ^{[2
]}

尹宁 ^{[3
]}

机构：

[1] 中北大学大数据学院

[2] 中北大学机械工程学院

[3] 中北大学软件学院

来源：

计算机应用 | 2019年 / 39卷 / 06期

关键词：

卷积神经网络; 特征复用; 网络加速; 模型压缩;

D O I：

暂无

中图分类号：

TP391.41 []; TP183 [人工神经网络与计算];

学科分类号：

080203 ;

摘要：

为了在不降低准确率的前提下,减小卷积神经网络模型的体积与计算量,提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元(FR-unit)。首先,针对不同类型的卷积神经网络结构,提出不同的优化方法;然后,在对输入特征图进行卷积操作后,将输入特征与输出特征进行结合;最后,将结合后的特征传递给下一层。通过对低层特征的重复使用,使总的提取的特征数量不发生改变,以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证,实验结果表明,优化后的VGG模型体积缩小为优化前的75.4%,预测时间缩短为优化前的43.5%;优化后的Resnet模型体积缩小为优化前的53.1%,预测时间缩短为优化前的60.9%,且在测试集上的准确率均未降低。

引用

页码：1607 / 1613

页数：7

共 16 条

[1] ImageNet classification with deep convolutional neural networks. Krizhevsky A,Sutskever I,Hinton G E. International Conference on Neural Information Processing Systems . 2012
[2] Deep networks with stochastic depth. Huang G,Sun Y,Liu Z,et al. European Conference on Computer Vision . 2016
[3] Learning a Deep Compact Image Representation for Visual Tracking. Wang N,Yeung D. neural information processing systems . 2013
[4] Simultaneous detection and segmentation. Hariharan B,Arbeláez P,Girshick R,et al. Proceedings of the 13th European Conference on Computer Vision . 2014
[5] Deep residual learning for image recognition. HE K,ZHANG X,REN S,et al. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2016
[6] Going deeper with convolutions. SZEGEDY C,LIU W,JIA Y,et al. IEEE Conference on Computer Vision and Pattern Recognition . 2015
[7] Very deep multilingual convolutional neural networks for LVCSR. Sercu T,Puhrsch C,Kingsbury B,et al. International Conference on Acoustics,Speech and Signal Processing . 2016
[8] 复杂背景下基于MobileNets的花卉识别与模型剪枝
孔英会
朱成诚
车辚辚
[J]. 科学技术与工程, 2018, 18 (19) : 84 - 88
[9] 深度网络模型压缩综述
雷杰
高鑫
宋杰
王兴路
宋明黎
[J]. 软件学报, 2018, 29 (02) : 251 - 266
[10] 卷积神经网络研究综述
周飞燕
金林鹏
董军
[J]. 计算机学报, 2017, 40 (06) : 1229 - 1251

← 1 2 →