深度网络模型压缩综述

被引：46

作者：

雷杰

高鑫

宋杰

王兴路

宋明黎

机构：

[1] 浙江大学计算机科学与技术学院

来源：

软件学报 | 2018年 / 29卷 / 02期

关键词：

深度神经网络; 网络压缩; 网络剪枝; 网络精馏; 网络分解;

D O I：

10.13328/j.cnki.jos.005428

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

深度网络近年来在计算机视觉任务上不断刷新传统模型的性能,已逐渐成为研究热点.深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在受限的硬件平台上(如移动设备).模型的参数在一定程度上能够表达其复杂性,相关研究表明,并不是所有的参数都在模型中发挥作用,部分参数作用有限、表达冗余,甚至会降低模型的性能.首先,对国内外学者在深度模型压缩上取得的成果进行了分类整理,依此归纳了基于网络剪枝、网络精馏和网络分解的方法;随后,总结了相关方法在多种公开深度模型上的压缩效果;最后,对未来的研究可能的方向和挑战进行了展望.

引用

页码：251 / 266

页数：16

共 6 条

[1] 多标记分类和标记相关性的联合学习
何志芬
杨明
刘会东
[J]. 软件学报, 2014, 25 (09) : 1967 - 1981
[2] 基于概率计算的重叠双聚类算法
张敏
戈文航
[J]. 计算机工程与设计, 2012, 33 (09) : 3579 - 3583
[3] Minimalistic CNN-based ensemble model for gender prediction from face images[J] . Grigory Antipov,Sid-Ahmed Berrani,Jean-Luc Dugelay.Pattern Recognition Letters . 2015
[4] Rule extraction: Using neural networks or for neural networks?[J] . Zhi-Hua Zhou.Journal of Computer Science and Technology . 2004 (2)
[5] SINGULAR VALUE DECOMPOSITION AND LEAST SQUARES SOLUTIONS
GOLUB, GH
REINSCH, C
[J]. NUMERISCHE MATHEMATIK, 1970, 14 (05) : 403 - &
[6] Fast R-CNN .2 Girshick,R. IEEE Int.Conf.on Computer Vision . 2015

← 1 →