基于MongoDB的矢量空间数据云存储与处理系统

被引:46
作者
雷德龙 [1 ]
郭殿升 [1 ,2 ]
陈崇成 [1 ]
巫建伟 [1 ]
吴小竹 [1 ]
机构
[1] 福州大学福建省空间信息工程研究中心,空间数据挖掘与信息共享教育部重点实验室
[2] 南卡罗来纳大学
关键词
矢量数据; NoSQL数据库; MongoDB; 云存储; Hadoop; 多用户;
D O I
暂无
中图分类号
P208 [测绘数据库与信息系统];
学科分类号
070503 ; 081603 ; 0818 ; 081802 ;
摘要
近年来,海量空间数据存储与处理日益成为地理信息科学领域的研究热点。其中,矢量空间数据更因其较高的复杂性,成为该类研究的重点问题。本文基于文档数据库,探究了多用户数据存储、矢量空间数据存储、海量矢量空间数据并行处理等问题,给出了存储和处理矢量空间数据的方法。在三层式云存储架构基础上,设计并实现了矢量空间数据云存储与处理系统VectorDB,达到了海量矢量空间数据的高效存储与处理要求。系统采用文档数据库MongoDB存储矢量空间数据,使用OGR库实现不同格式矢量空间数据的转换与存储,并用Hadoop对数据库中的数据进行并行计算,以及用mongo-hadoop作为MongoDB与Hadoop之间的连接器。通过实验对比了VectorDB与PostGIS的矢量空间数据读写性能,并分析了VectorDB与MongoDB在海量数据并行处理性能方面的差异。结果表明:VectorDB具有更好的读取性能和海量数据处理性能,适合多用户不同格式、不同属性矢量空间数据存储,对海量矢量数据存储与处理问题具有参考价值。
引用
收藏
页码:507 / 516
页数:10
相关论文
共 10 条
[1]   支持大数据管理的NoSQL系统研究综述 [J].
申德荣 ;
于戈 ;
王习特 ;
聂铁铮 ;
寇月 .
软件学报, 2013, 24 (08) :1786-1803
[2]   基于NoSQL的海量空间数据云存储与服务方法 [J].
陈崇成 ;
林剑峰 ;
吴小竹 ;
巫建伟 ;
连惠群 .
地球信息科学学报, 2013, (02) :166-174
[3]   数据管理技术的新格局 [J].
覃雄派 ;
王会举 ;
李芙蓉 ;
李翠平 ;
陈红 ;
周烜 ;
杜小勇 ;
王珊 .
软件学报, 2013, 24 (02) :175-197
[4]   MongoDB环境下SaaS多租户体系模型研究 [J].
兰小机 ;
徐齐行 ;
敖杰刚 .
测绘通报, 2012, (10) :21-23+27
[5]   空间数据存储机制研究 [J].
许捍卫 ;
冯学智 .
计算机应用研究, 2003, (02) :39-40+74
[6]   空间数据库管理系统的概念与发展趋势 [J].
龚健雅 .
测绘科学, 2001, (03) :4-9+2
[7]  
海量空间数据的分布式存储管理及并行处理技术研究[D]. 崔鑫.国防科学技术大学. 2010
[8]  
MongoDB权威指南[M]. 人民邮电出版社 , (美)Kristina Chodorow, 2011
[9]  
The Chubby lock service for loosely-coupled distributed systems .2 Burrows M. Proceedings of the 7th Symposium on Operating Systems Design and Implementation . 2006
[10]  
Multi-tenant databases for software as a service:schema-mapping techniques .2 Aulbach S,Grust T,Jacobs D,et al. Proceedings of the2008ACM SIGMOD internationalconference on Management of data . 2008