大数据时代地质灾害数据管理及应用模式探讨

被引:14
作者
刘军旗 [1 ]
刘强 [2 ]
刘千慧 [3 ]
张夏林 [4 ]
林晨 [5 ]
周鑫 [1 ]
李国策 [1 ]
机构
[1] 中国地质大学(武汉)中国地质大学(武汉)长江三峡库区地质灾害研究中心
[2] 中国海洋大学工程学院
[3] 北京大学信息管理系
[4] 中国地质大学(武汉)计算机学院
[5] 武汉生态环境设计研究院有限公司
关键词
大数据; 泛结构化地质数据; 关系型数据库; NoSQL; 双C模型; 中间件;
D O I
10.19509/j.cnki.dzkq.2021.0627
中图分类号
TP311.13 []; P694 [灾害地质学];
学科分类号
1201 ; 0818 ; 081803 ;
摘要
地质灾害数据是一种多源异构数据,是典型的大数据。关系型数据库是目前地质灾害数据的主流管理方法。在地质灾害数据中,非结构化数据占有很大的比例。由于关系模型难以有效地管理非结构化数据,因而关系型数据库对地质灾害数据的管理效果并不理想。这种弱点,在大数据时代将会被进一步放大,并对地质数据挖掘和大数据分析造成一定的影响。针对大数据时代地质灾害数据的管理模式,从泛结构化地质数据管理、应用模型和分布式异构系统的集成等方面进行了探讨。认为地质灾害数据的有效管理应该把文件系统、关系型数据库和NoSQL结合起来,并提出了一种基于双C模型和中间件结合的泛结构化地质数据管理与应用模式。这种模式已应用在多个工程中,取得了良好的效果。
引用
收藏
页码:276 / 282+292 +292
页数:8
相关论文
共 25 条
  • [1] 地质科学大数据统合应用的基本问题
    吴冲龙
    刘刚
    周琦
    张夏林
    徐凯
    [J]. 地质科技通报, 2020, 39 (04) : 1 - 11
  • [2] 基于等角度变比例投影的矿体轮廓线自动匹配方法研究
    田宜平
    刘维安
    张夏林
    [J]. 地质科技通报, 2020, 39 (01) : 175 - 180
  • [3] 针对面向多源异构数据的数据集成中间件的设计与开发
    罗颖
    [J]. 网络安全技术与应用, 2019, (06) : 55 - 57
  • [4] 三峡库区地质灾害防治信息系统及预警指挥系统数据管理模式探讨
    吴润泽
    程温鸣
    刘军旗
    杨建英
    [J]. 中国地质灾害与防治学报, 2018, 29 (05) : 102 - 107
  • [5] 工程地质数据处理方法探讨——以水利枢纽工程为例
    刘军旗
    [J]. 工程地质学报, 2014, 22 (05) : 989 - 996
  • [6] Challenges of Big Data analysis[J]. Jianqing Fan,Fang Han,Han Liu.National Science Review. 2014(02)
  • [7] 面向大数据的非结构化数据管理平台关键技术
    郎波
    张博宇
    [J]. 信息技术与标准化, 2013, (10) : 53 - 56
  • [8] 支持大数据管理的NoSQL系统研究综述
    申德荣
    于戈
    王习特
    聂铁铮
    寇月
    [J]. 软件学报, 2013, 24 (08) : 1786 - 1803
  • [9] 海量结构化数据存储检索系统
    吴广君
    王树鹏
    陈明
    李超
    [J]. 计算机研究与发展, 2012, 49(S1) (S1) : 1 - 5
  • [10] 非结构化数据存储管理的实用化方法
    陈金水
    王崟
    [J]. 计算机与现代化, 2006, (08) : 25 - 28+31