科学研究大数据挑战

被引：8

作者：

陈刚

机构：

[1] 中国科学院高能物理研究所

来源：

科学通报 | 2015年 / 60(Z1)卷 / Z1期

关键词：

大科学装置; 大数据; 高能物理; 信息化; 数据存储; 网格计算; 云计算;

D O I：

暂无

中图分类号：

TP274 [数据处理、数据处理系统];

学科分类号：

0804 ; 080401 ; 080402 ; 081002 ; 0835 ;

摘要：

现代科学研究的一个重要模式就是大科学项目,其特点是大科学装置和合作,并产生海量的科研数据.数据密集型的大科学项目对数据的采集、存储、分发和处理有着巨大的需求.本文以大科学项目为案例讨论了科研大数据在数据采集、处理、存储以及网络等方面的挑战,以及相应的应对方法.其中,国际上的高能物理实验每年产生数十拍字节(PB)的数据,这些数据需要妥善地记录和保存下来,并高效地分发到世界各地进行分析处理.高能物理学家基于网格技术合作建立了大数据处理的WLCG网格平台,该平台成功地支持了大型强子对撞机实验数据的处理和分析,同时也支持了其他大科学项目,取得很好的效果.另外,为了解决对数据的高效存储和访问,新的存储技术和网络技术,如软件定义网络和云存储等,被开发应用到科学大数据中.最后还介绍了云计算技术在科研大数据中的应用.

引用

页码：439 / 444

页数：6