深度卷积神经网络的数据表示方法分析与实践

被引：5

作者：

王佩琪 ^{[1
,2
]}

高原 ^{[1
,2
]}

刘振宇 ^{[2
]}

王海霞 ^{[2
]}

汪东升 ^{[2
]}

机构：

[1] 清华大学计算机科学与技术系

[2] 清华信息科学与技术国家实验室(筹)

来源：

计算机研究与发展 | 2017年 / 54卷 / 06期

基金：

国家重点研发计划;

关键词：

深度卷积神经网络; 数据表示方式; 浮点数据表示; 定点数据表示; 卷积操作优化;

D O I：

暂无

中图分类号：

TP183 [人工神经网络与计算];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

深度卷积神经网络在多个领域展现了不凡的性能,并被广泛应用.随着网络深度的增加和网络结构不断复杂化,计算资源和存储资源的需求也在不断攀升.专用硬件可以很好地解决对计算和存储的双重需求,在低功耗同时满足较高的计算性能,从而应用在一些无法使用通用CPU和GPU的场景中.在专用硬件设计过程中仍存在着很多亟待解决的问题,例如选择何种数据表示方法、如何平衡数据表示精度与硬件实现代价等.为解决上述问题,针对定点数和浮点数建立误差分析模型,从理论角度分析如何选择表示精度及选择结果对网络准确率的影响,并通过实验探究不同数据表示方法对硬件实现代价的影响.通过理论分析和实验验证可知,在一般情况下,满足同等精度要求时浮点表示方法在硬件实现开销上占有一定优势.除此之外,还根据浮点表示特征对神经网络中卷积操作进行了硬件实现,与定点数相比在功耗和面积上分别降低92.9%和77.2%.

引用

页码：1348 / 1356

页数：9

共 3 条

[1]

ShiDianNao[J] . Zidong Du,Robert Fasthuber,Tianshi Chen,Paolo Ienne,Ling Li,Tao Luo,Xiaobing Feng,Yunji Chen,Olivier Temam.ACM SIGARCH Computer Architecture News . 2015 (3)

[2]

A dynamically configurable coprocessor for convolutional neural networks[J] . Srimat Chakradhar,Murugan Sankaradas,Venkata Jakkula,Srihari Cadambi.ACM SIGARCH Computer Architecture News . 2010 (3)

[3]

Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation .2 Girshick R,Donahue J,Darrell T,et al. Computer Vision and Pattern Recognition . 2014

← 1 →