基于MapReduce计算模型的气象资料处理调优试验

被引：7

作者：

杨润芝 ^{[1
]}

沈文海 ^{[1
]}

肖卫青 ^{[1
]}

胡开喜 ^{[1
]}

杨昕 ^{[1
]}

王颖 ^{[1
]}

田伟 ^{[2
]}

机构：

[1] 国家气象信息中心

[2] 南京信息工程大学

来源：

应用气象学报 | 2014年 / 05期

关键词：

MapReduce; 云计算; Hadoop; 历史资料整编;

D O I：

暂无

中图分类号：

P468 [气候资料]; P409 [电子计算机在大气科学上的应用];

学科分类号：

摘要：

云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率,解决了单机服务器计算能力低的问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重要的意义。由于长序列历史资料数据量大、运算逻辑较复杂,在传统单节点计算平台上进行整编计算耗时非常长。该文基于Hadoop分布式计算框架搭建了集群模式的云计算平台,以长序列历史资料作为源数据,基于MapReduce计算模型实现了部分整编算法,提高计算时效。同时,由于数据源本身具有文件个数多、单个文件小等特点,对数据源存储形式及数据文件大小进行改造,分别利用SequenceFile方式及文本文件合并方式对同一种场景进行计算时效对比测试,分别测试了10个文件合并、100个文件合并两种情况,使时效性得到了更大程度的提升。

引用

页码：618 / 628

页数：11

共 16 条

[11] 云计算及若干数据挖掘算法的MapReduce化研究[D]. 李军华.电子科技大学. 2010
[12] 基于MapReduce模型的并行计算平台的设计与实现[D]. 万至臻.浙江大学. 2008
[13] 基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学. 2008
[14] 云计算技术发展报告[M]. 科学出版社 , 中国电子学会, 2011
[15] 云计算核心技术剖析[M]. 人民邮电出版社 , 吴朱华, 2011
[16] Hadoop权威指南[M]. 清华大学出版社 , (美) 怀特 (White, 2011

← 1 2 →