随着空间数据规模的不断增长,空间分析和处理技术的复杂程度不断增加,使得对海量空间数据进行高效管理和处理的难度不断加大,迫切需要新的技术和方法来管理和处理海量空间数据。分布式存储和并行计算为解决上述问题提供了一种新的方法。
本文针对当前空间数据存储和处理方法存在的若干不足,在总结应用问题和需求的基础上,着重在基于HBase的海量空间数据管理技术和海量空间数据并行处理方法等方面进行深入研究,主要取得了以下研究成果:
(1)深入研究了空间数据存储系统与并行处理方法,为并行空间数据的存储与处理提供具体的理论指导,并指出了传统方法存储和处理海量空间数据存在的不足。
(2)深入研究了架构在分布式文件系统上的存储系统HBase,为空间数据的分布式存储管理提供技术支撑。设计了适合分布式存储的并行索引,提出了基于HBase的空间数据管理方法,并通过与传统存储方法的对比实验,验证了HBase在海量空间数据分布式存储方面性能的优越性。
(3)设计并实现了基于Map Reduce并行编程框架的海量空间数据并行处理引擎Map ReduceGIS。由于Map Reduce不直接支持空间数据的关系连接,设计了一种基于Map Reduce的并行空间连接方法。
(4)开展了基于Map ReduceGIS的并行处理实验。通过对新增、读取、最近邻查询等操作的实验,证明了Map ReduceGIS在并行处理海量空间数据时具有较好的性能。
