基于MapReduce实现空间查询的研究

被引：15

作者：

张书彬 ^{[1
,2
]}

韩冀中 ^{[1
]}

刘志勇 ^{[1
]}

王凯 ^{[1
,2
]}

机构：

[1] 中国科学院计算技术研究所

[2] 中国科学院研究生院

来源：

高技术通讯 | 2010年 / 20卷 / 07期

关键词：

空间数据管理系统; MapReduce; 空间查询; 分布式系统;

D O I：

暂无

中图分类号：

P208 [测绘数据库与信息系统];

学科分类号：

070503 ; 081603 ; 0818 ; 081802 ;

摘要：

为了解决原有单机空间数据库管理系统在存储能力、计算能力和可扩展能力上的不足,在分布式文件系统的基础上设计并实现了一种基于并行计算框架MapReduce的空间矢量数据管理系统Meadow,并重点讨论了利用MapReduce并行处理空间查询的数据分割方法、副本避免方法及关键算法的设计策略,最后给出了定量的分析和论证。实验表明,相对于单机Oracle Spatial,利用MapReduce并行处理空间查询的方法具有良好的性能和近似线性的加速比。实验结果也验证了MapReduce在诸如空间数据管理系统这种基于小规模集群的计算密集型应用中同样具有良好的性能。

引用

页码：719 / 726

页数：8

共 6 条

[1]

Technical perspective[J] . David A. Patterson.Communications of the ACM . 2008 (1)

[2]

Parallel database systems[J] . David DeWitt,Jim Gray.Communications of the ACM . 1992 (6)

[3]

The Chubby lock service for loosely-coupled distributed systems. Burrows M. Proceedings of the 7th Symposium on Operating Systems Design and Implementation . 2006

[4]

Building the GSDI. Mckee L. The Open GIS Consortium . 1996

[5]

Bigtable:A DistributedStorage System for Structured Data. Chang F,Dean J,Ghemawat S,et al. OSDI’’06:SeventhSymposium on Operating System Design and Implementation . 2006

[6]

Building a scalable geo-spatial DBMS: technology, implementation, and evaluation. Patel J,Yu J,Kabra N, et al. Proceedings of the 1997 ACM SIGMOD International Conference on Management of Data . 1997

← 1 →