基于Hadoop的海量数据存储平台设计与开发

被引：141

作者：

崔杰 ^{[1
]}

李陶深 ^{[1
]}

兰红星 ^{[2
]}

机构：

[1] 广西大学计算机与电子信息学院

[2] 广西工业和信息化委员会

来源：

计算机研究与发展 | 2012年 / 49(S1)卷 / S1期

关键词：

海量数据存储; 海洋科学数据; Hadoop; 分布式计算;

D O I：

暂无

中图分类号：

TP333 [存贮器];

学科分类号：

摘要：

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.

引用

页码：12 / 18

页数：7

共 8 条

[1] 云计算:系统实例与研究现状[J]. 陈康,郑纬民.软件学报. 2009(05)
[2] 数据仓库概述
余华鸿
李颖
张玉川
[J]. 科技信息, 2007, (13) : 79 - 79
[3] 联邦式异构数据库应用系统的集成框架和实现技术的研究
李俊
李勇
[J]. 计算机应用研究, 2001, (04) : 19 - 22
[4] 云计算[M]. 电子工业出版社 , 刘鹏, 2010
[5] Cloud computing
Hayes, Brian
[J]. COMMUNICATIONS OF THE ACM, 2008, 51 (07) : 9 - 11
[6] MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat.Communications of the ACM . 2008 (1)
[7] 地球系统科学数据共享网 .2 地球系统科学数据共享网项目组. . 2010
[8] 基础科学数据共享服务网.基础科学数据共享服务网 .2 . 2010

← 1 →