大数据分析的神经网络方法

大数据蕴含巨大的社会、经济、科学价值,已成为学术界与企业界关注的重点。其关键技术可划分为三大层次:数据平台、分析平台和展示平台,其中分析平台是大数据转化为价值的桥梁。一般来说,大数据拥有体量浩大(volume)、多源异构(variety)、生成快速(velocity)、价值稀疏(value)的"4V"特性,扩大了大数据的价值空间,同时也为大数据的分析技术带来巨大挑战。其中三大挑战比较显著,即多源异构大数据、大量非结构化数据存储、大数据价值稀疏且变化快。其三大核心科学问题为大数据的表达、存储和预测问题。由于传统的数据分析方法难以胜任,发展新的大数据分析方法势在必然。人脑是天然的大数据处理引擎。神经网络是一种模拟人脑大数据分析机制的计算方法,是目前大数据分析中最成功的方法。神经网络的研究主要包括:模拟大脑神经网络结构,构建神经网络结构模型;模拟大脑神经网络的记忆机制,发展学习算法。神经网络的研究历史历经波折。近年来,随着当代计算机计算能力的不断提升,基于神经网络的大数据分析方法取得了巨大成功,尤其是在各应用领域,如语音大数据分析、图像大数据分析、医学大数据分析等,引领了人工智能的发展。Alpha Go在人机围棋大战中获胜,引起了广泛关注。"大数据+神经网络"已成为驱动创新、推动社会发展和改变人类生产生活方式的一种重要力量。以大数据和神经网络为线索,回顾大数据的基本概念与关键技术,梳理神经网络研究的基本框架,可以发现它们之间默契切合、互相促进的关系。一方面,神经网络具有强大的特征提取与抽象能力,能够整合多源信息,处理异构数据,捕捉变化动态,是大数据实现价值转化的桥梁。另一方面,体量浩大的大数据为神经网络提供了充足的训练样本,使得训练越来越大规模的神经网络成为可能。尽管"大数据+神经网络"在众多应用领域已经取得了突破,但是,仍然存在需要解决的核心科学问题。面向神经网络的研究中,神经网络的结构尚需进一步研究,神经网络的大小依然缺少理论性的指导,神经网络的学习算法仍然存在一些内在的问题。围绕大数据分析的三大核心科学问题,需要研究如何保证在高维空间中稀疏表达仍可维持数据的一致性,如何实现"只存储知识而不存储原始数据",如何刻画数据的时空关联以实现大数据的预测。因此,仍然需要对该领域持续投入,加强应用研究和理论研究,尤其应进行跨领域的研究,即与人脑的大数据处理相呼应,结合认知科学、神经科学等相关学科的知识,以解决神经网络和大数据应用中的核心科学问题,推动基于神经网络方法的大数据分析研究。