深度无监督学习算法研究

深度学习作为人工智能技术的新发展,被广泛应用于计算机视觉、语音识别、机器翻译和语义挖掘等领域,且MIT Technology Review杂志在2014年将深度学习列为2013年十大突破性技术之首。虽然深度学习取得了一系列巨大的研究成果,但它也面临理论计算问题、高维特征空间的表示问题和无监督学习问题的挑战。本文在具体细化2006年Hinton等人在“Science"期刊上提出的深度学习方法的过程中,从数学优化的角度建立了深度监督学习和深度无监督学习的模型；给出了基于自编码的逐层贪婪无监督的深度网络参数学习的方法；结合了大数据的处理技术,独立推导了深度监督学习梯度不稳定的数学公式。所做的工作和取得的成果可为人们思考和解决“深度学习”提供理论和方法指导。主要工作和成果如下： （1）依据人类视觉系统信息处理的自然启示“深度网络比浅层网络具有更强的表达能力”,分析了建立深度网络模型的动机,介绍了深度网络模型的结构。 （2）从传统的浅层网络参数的学习出发,用梯度下降算法和误差反向传播算法从数学优化的角度建立了监督深度网络学习模型,并用手写数字数据库MNIST做了数值实验工验证了监督模型的效果。结果表明单纯的监督学习方法不适合用于深度网络的参数学习。 （3）在分析用监督学习方法进行深度网络参数学习失败的原因基础上,引入了逐层贪婪无监督的思想克服梯度的不稳定、监督学习数据获取的昂贵和梯度下降算法对初始值敏感的问题；并给出了基于自编码的逐层贪婪无监督的深度网络参数学习方法。 （4）采用同样的手写数字数据库MNIST对（3）中提出的深度网络参数学习方法作了数值实验Ⅱ；它和数值实验Ⅰ的结果对比表明基于自编码的逐层贪婪无监督的深度网络参数学习方法能有效地提高测试数据集分类的准确率。 （5）受生物界关于“婴儿如何认识世界”的研究成果“海量数据将使得学习算法的学习效果更加完美”启发,基于“复杂模型十大数据”的模式下研究了大规模数据集上的深度无监督网络学习问题。采用MiniBatch梯度下降算法和增量的梯度下降算法优化了其算法,在数据并行方面给出了梯度下降算法的PyCUDA并行计算步骤和梯度下降算法的Map-Reduce分解过程。