数据密集型科学与工程:需求和挑战

被引：75

作者：

宫学庆 ^{[1
]}

金澈清 ^{[1
]}

王晓玲 ^{[1
,2
]}

张蓉 ^{[1
]}

周傲英 ^{[1
,2
]}

机构：

[1] 华东师范大学软件学院

来源：

计算机学报 | 2012年 / 35卷 / 08期

关键词：

大数据; 数据密集型科学与工程; 需求; 挑战;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

科学研究在经历了实验科学、理论科学、计算科学阶段后,进入了数据密集型科学阶段,与之相伴的是大数据时代的到来.大数据泛指规模达到几百TB,甚至PB级的数据①,其典型的特征是分布、异构、低质量等.尽管传统数据库管理技术(特别是商业关系型数据库)在过去40年间取得了巨大成功,但是这些技术和系统无法有效管理支持数据密集型科学与工程(Data-Intensive Science and Engineering,DISE)的大数据.文中探讨数据密集型科学与工程的具体需求和现实挑战.它涵盖的内容表现在4个层面,包括数据存储与组织、计算方法、数据分析以及用户接口技术等.同时,数据质量、数据安全、数据监护等内容也需要在各层面得到重视.文中尝试梳理了数据密集型科学与工程的整体架构,回顾了相关领域的新近发展,分析了面临的挑战,探讨了未来的研究方向.

引用

页码：1563 / 1578

页数：16

共 12 条

[1] 构造基于互联网的可信软件生产服务系统 [J].

尹刚 ;

王怀民 ;

袁霖 ;

朱沿旭 ;

史殿习 ;

米海波 .

计算机科学与探索, 2011, 5 (10) :880-890

[2] 数据监护:美国高校图书馆的新探索 [J].

杨鹤林 .

大学图书馆学报, 2011, 29 (02) :18-21+41

[3] 数据库服务——安全与隐私保护 [J].

田秀霞 ;

王晓玲 ;

高明 ;

周傲英 .

软件学报, 2010, 21 (05) :991-1006

[4] 重复数据删除技术 [J].

敖莉 ;

舒继武 ;

李明强 .

软件学报, 2010, 21 (05) :916-929

[5] 数据世系管理技术研究综述 [J].

高明 ;

金澈清 ;

王晓玲 ;

田秀霞 ;

周傲英 .

计算机学报, 2010, 33 (03) :373-389

[6] 网构软件技术体系:一种以体系结构为中心的途径 [J].

杨芙清 ;

吕建 ;

梅宏 .

中国科学(E辑:信息科学), 2008, (06) :818-828

[7] Deep Web数据集成研究综述 [J].

刘伟 ;

孟小峰 ;

孟卫一 .

计算机学报, 2007, (09) :1475-1489

[8]

Hadoop权威指南[M]. 清华大学出版社 , (美) 怀特 (White, 2011

[9] A performance study of general-purpose applications on graphics processors using CUDA [J].

Che, Shuai ;

Boyer, Michael ;

Meng, Jiayuan ;

Tarjan, David ;

Sheaffer, Jeremy W. ;

Skadron, Kevin .

JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, 2008, 68 (10) :1370-1380

[10]

Partially materialized digest scheme: an efficient verification method for outsourced databases[J] . Kyriakos Mouratidis,Dimitris Sacharidis,HweeHwa Pang.The VLDB Journal . 2009 (1)

← 1 2 →