基于HDFS+Spark的时空大数据存储与处理——以智慧无锡时空大数据为例

被引：17

作者：

贾旖旎 ^{[1
]}

周新民 ^{[2
]}

曹芳 ^{[2
]}

机构：

[1] 无锡市自然资源和规划局

[2] 武大吉奥信息技术有限公司

来源：

软件 | 2019年 / 40 卷 / 11期

关键词：

时空大数据; 集群计算; 存储处理; 数据挖掘;

D O I：

暂无

中图分类号：

P208 [测绘数据库与信息系统]; TP311.13 [];

学科分类号：

071104 [大数据与智能系统];

摘要：

海量时空数据的高效存储、读写、处理与分析是当前地理信息科学领域的研究热点。本文对目前主流大数据技术产品进行了选取和融合,开展了基于HDFS+Spark的时空大数据存储、处理分析等方面的研究和探讨,以智慧无锡时空信息云平台为应用对象,搭建了一套时空大数据存储处理的集群平台,并通过具体应用实验,得到了时空数据存储、处理、挖掘的响应时间及可视化展示结果,证实了HDFS+Spark集群计算平台在解决时空大数据存储、处理、挖掘方面的有效性。

引用

页码：19 / 23

页数：5

共 5 条

[1]

大数据存储技术综述（英文） [J].