基于特征复用的卷积神经网络模型压缩方法

被引：5

作者：

冀树伟 ^{[1
]}

杨喜旺 ^{[1
]}

黄晋英 ^{[2
]}

尹宁 ^{[3
]}

机构：

[1] 中北大学大数据学院

[2] 中北大学机械工程学院

[3] 中北大学软件学院

来源：

计算机应用 | 2019年 / 39卷 / 06期

关键词：

卷积神经网络; 特征复用; 网络加速; 模型压缩;

D O I：

暂无

中图分类号：

TP391.41 []; TP183 [人工神经网络与计算];

学科分类号：

080203 ;

摘要：

为了在不降低准确率的前提下,减小卷积神经网络模型的体积与计算量,提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元(FR-unit)。首先,针对不同类型的卷积神经网络结构,提出不同的优化方法;然后,在对输入特征图进行卷积操作后,将输入特征与输出特征进行结合;最后,将结合后的特征传递给下一层。通过对低层特征的重复使用,使总的提取的特征数量不发生改变,以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证,实验结果表明,优化后的VGG模型体积缩小为优化前的75.4%,预测时间缩短为优化前的43.5%;优化后的Resnet模型体积缩小为优化前的53.1%,预测时间缩短为优化前的60.9%,且在测试集上的准确率均未降低。

引用

页码：1607 / 1613

页数：7

共 16 条

[11] SINGULAR VALUE DECOMPOSITION AND LEAST SQUARES SOLUTIONS
GOLUB, GH
REINSCH, C
[J]. NUMERISCHE MATHEMATIK, 1970, 14 (05) : 403 - &
[12] Neural-network feature selector. R. Setiono,H. Liu. IEEE Transactions on Neural Networks . 1997
[13] Design Issues in Division and Other Floating-Point Operations. Stuart F. Oberman,Michael J. Flynn. IEEE Transactions on Computers . 1997
[14] Point estimates for probability moments. Rosenblueth E. Proceedings of the National Academy of Sciences of the United States of America . 1975
[15] Fast R-CNN. Girshick R. Proceedings of the 2015 IEEEInternational Conference on Computer Vision . 2015
[16] Visualizing and understanding convolutional networks. Zeiler M D,Fergus R. Computer Vision-ECCV 2014 . 2014

← 1 2 →