大数据全生命周期中关键问题研究及应用

被引:27
作者
刘道新 [1 ]
胡航海 [2 ]
张健 [2 ]
徐秀敏 [3 ]
机构
[1] 华北电力大学经济与管理学院
[2] 国家电网公司
[3] 不详
关键词
大数据; 压缩存储; 缓存机制; 动态配置; 统一数据资源库;
D O I
10.13334/j.0258-8013.pcsee.2015.01.003
中图分类号
TP309.2 [数据安全];
学科分类号
摘要
随着大数据时代的到来,大数据全生命周期中获取、存储、处理、挖掘等方面的研究逐步展开,成为行业、政府的研究热点。该文以国内外电力行业、金融、经济等数据为研究对象,对大数据的存储、处理、挖掘三大关键问题进行研究。根据大数据特点进行分类;建立基于改进稀疏矩阵、指标维度和指标数据分离方式的大数据压缩存储模型,实现大数据的压缩存储和动态扩展。提出按照指标分类及关联关系建立数据缓存模型的方法,实现大数据的高效访问和灵活转换。在挖掘展现时应用动态可配置的设计方法,解决数据查询海量页面的动态生成问题。该文可为大数据存储、处理、挖掘研究提供有价值的参考,并将研究成果应用到统一资源库的建设中。
引用
收藏
页码:23 / 28
页数:6
相关论文
共 17 条
[1]   面向新型存储的大数据存储架构与核心算法综述 [J].
金培权 ;
郝行军 ;
岳丽华 .
计算机工程与科学, 2013, 35 (10) :12-24
[2]   从数据库视角解读大数据的研究进展与趋势 [J].
李战怀 ;
王国仁 ;
周傲英 .
计算机工程与科学, 2013, 35 (10) :1-11
[3]   面向产业链协同SaaS平台的表单动态配置技术 [J].
吕瑞 ;
孙林夫 ;
刘述雅 .
计算机应用, 2013, 33 (10) :2984-2988
[4]   电力系统安全稳定标准研究 [J].
舒印彪 ;
汤涌 ;
孙华东 .
中国电机工程学报, 2013, 33 (25) :1-9
[5]   大数据时代档案馆的特征及发展策略 [J].
周枫 .
档案与建设, 2013, (08) :6-9
[6]   一种高效、可扩展细粒度缓存管理混合存储研究 [J].
姜国松 .
计算机科学, 2013, 40 (08) :79-82+108
[7]   大数据的一个重要方面:数据可用性 [J].
李建中 ;
刘显敏 .
计算机研究与发展, 2013, 50 (06) :1147-1162
[8]   大数据国家发展战略呼之欲出——中美两国大数据发展战略对比分析 [J].
陈明奇 .
人民论坛, 2013, (15) :28-29
[9]   基于三层B/S的规划计划信息管理平台 [J].
徐秀敏 ;
郝赫 ;
曹占峰 ;
尹洪苓 ;
朱大勇 .
计算机系统应用, 2013, 22 (04) :51-54+78
[10]   最小驻留价值缓存替换算法 [J].
刘磊 ;
熊小鹏 .
计算机应用, 2013, 33 (04) :1018-1022