卷积神经网络在图像分类中的应用研究

卷积神经网络(ConvNets)是近年发展起来一种模式分类方法,该方法结合了神经网络技术和深度学习理论。与传统的分类方法相比,卷积神经网络对高维特征具有良好的学习能力且具有更好的泛化能力,目前已被广泛应用于图像分类以及语音识别、行人检测等领域中。但是,卷积神经网络的发展也面临诸多挑战。卷积神经网络中大量的参数造成网路响应速度慢、梯度弥散和过拟合等问题。同时,由于其模型较大,很难在移动设备等计算能力、存储能力较低的设备上使用。针对以上问题,本文首先引进一种包含多分类器的卷积网络结构CDLN(Conditional Deep Learning Network)提升卷积网络的响应速度,并提出一种加权多分类器联合训练方法(Weighted Joint Training with Multiple Classifiers,WJTMC),优化网络的分类性能。然后,提出一种卷积神经网络压缩方法OSC-HashNets,对卷积网络进行模型压缩。最后,分别对各方法进行性能分析,并在移动设备中验证方法的有效性。具体研究成果如下:1.针对CDLN模型,提出一种加权多分类器联合训练方法WJTMC。CDLN网络的多分类器结构能够有效的提升卷积神经网络的响应速度,但网络的分类准确率并未被提高。针对该问题,本文提出一种加权多分类器联合训练方法。该方法的特点在于,网络训练时某层权重的更新与之后所有分类器的误差信号都相关,这样就变相的增加了训练样本,降低网络的过拟合程度,提升网络的分类准确率。为了进一步提升分类性能,在JTMC的基础上提出WJTMC,对分类器的误差信号分别增加权重值。由于网络中各子分类器的分类性能都得到了提升,因此网络的整体分类准确率得到提高。另外,使用WJTMC方法后,网络的相应速度并未降低。2.提出一种OSC-HashNets的压缩方法。首先使用一站式全网络压缩结构(one-shot whole network compression scheme)对整个卷积神经网络进行压缩,该方法主要分为三个步骤,使用变分贝叶斯矩阵分解(VBMF)进行秩选择,然后对卷积核张量进行塔克(Tucker)分解,最后进行网络微调,重新训练网络参数。之后,使用HashNets模型对网络进行权值共享操作,该方法将网络层间的连接权值随机分配到若干个哈希阵列组中,每一组权重共享一个权重值。由于权重进行分组函数的是一个低运算消耗的哈希函数,该方法并不会增加网络的存储需求。在实验中,分别在CPU和移动设备上进行网络性能测试,压缩后的网络模型大大减小,同时分类速度与分类准确率得到提升。