深度神经网络压缩与加速综述

被引：204

作者：

纪荣嵘 ^{[1
,2
]}

林绍辉 ^{[1
,2
]}

晁飞 ^{[1
]}

吴永坚 ^{[3
]}

黄飞跃 ^{[3
]}

机构：

[1] 厦门大学信息科学与技术学院

[2] 福建省智慧城市感知与计算重点实验室(厦门大学)

[3] 上海腾讯科技有限公司优图实验室

来源：

计算机研究与发展 | 2018年 / 55卷 / 09期

基金：

国家重点研发计划;

关键词：

深度神经网络压缩; 深度神经网络加速; 参数剪枝; 参数共享; 低秩分解; 知识蒸馏;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

140502 [人工智能];

摘要：

深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

引用

页码：1871 / 1888

页数：18

共 6 条

[1]

Dermatologist-level classification of skin cancer with deep neural networks [J].