时空数据分布式存储研究

时空数据是一种多维数据。它的结构异常复杂,具有空间和时态特性。它能够详细的记录事物空间状态和时空变化,并能正确显示对象过去、现在、未来的状态。在科技快速发展的时代,采集数据的设备种类越来越多,数据的数量也快速增大,从而导致数据存储管理困难。而时空数据存储管理模块设计实现的优劣决定着整个数据管理系统的工作能力。因此又会影响到其它上层的应用系统运行效率。随着分布式框架的提出,它的高效并行计算能力、大容量存储、高扩展、高稳定等优点吸引着我们。本文在前人研究的基础上对时空数据分布式存储进行了探索研究。本文先从时空数据和分布式理论着手,研究相关部分的技术及原理,提出一种基于R树的时空索引,然后以开源云平台Hadoop的HBase为数据库载体,利用Map Reduce高效计算能力对时空数据进行管理,最后通过一些实验验证索引性能。主要研究内容如下:1)深入地分析了经典时空数据模型及时空索引的优缺点;简要分析了分布式平台的特点及相关技术,为论文研究提供理论和技术支撑。2)系统分析了开源云平台Hadoop的核心组件Map Reduce并行计算框架、HDFS分布式文件存储系统、以HDFS为载体的列式键值数据库HBase的数据模型。针对时空数据数据量大等特点,提出了利用HBase大表来存储管理时空数据。结合时空数据与HBase的特性,详细阐述了建表过程以及如何设计行键、定义列族。3)根据当前出现的时空数据索引,提出了一种在R树的基础上构建时空数据索引,该索引将过去和现在时间的数据分别存储,在各自的树中分别管理着起始及结束时间,提高树的利用率来提高查询效率。最后进行了对比实验,测试本文提出时空索引的插入及查询效率。4)最后通过GPS模拟器生成实验数据,然后存储在HBase进行管理。