基于开源Hadoop的矢量空间数据分布式处理研究

被引：16

作者：

尹芳 ^{[1
]}

冯敏 ^{[2
]}

诸云强 ^{[2
]}

刘睿 ^{[3
]}

机构：

[1] 长安大学地球科学与资源学院

[2] 中国科学院地理科学与资源研究所

[3] 重庆师范大学地理科学学院

来源：

计算机工程与应用 | 2013年 / 49卷 / 16期

关键词：

矢量空间数据; Key/Value; GeoJSON; Apache Hadoop; MapReduce; 分布式处理;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。

引用

页码：25 / 29

页数：5

共 5 条

[1] 基于HBase的矢量空间数据分布式存储研究 [J].