共 17 条
大数据全生命周期中关键问题研究及应用
被引:27
作者:
刘道新
[1
]
胡航海
[2
]
张健
[2
]
徐秀敏
[3
]
机构:
[1] 华北电力大学经济与管理学院
[2] 国家电网公司
[3] 不详
来源:
关键词:
大数据;
压缩存储;
缓存机制;
动态配置;
统一数据资源库;
D O I:
10.13334/j.0258-8013.pcsee.2015.01.003
中图分类号:
TP309.2 [数据安全];
学科分类号:
摘要:
随着大数据时代的到来,大数据全生命周期中获取、存储、处理、挖掘等方面的研究逐步展开,成为行业、政府的研究热点。该文以国内外电力行业、金融、经济等数据为研究对象,对大数据的存储、处理、挖掘三大关键问题进行研究。根据大数据特点进行分类;建立基于改进稀疏矩阵、指标维度和指标数据分离方式的大数据压缩存储模型,实现大数据的压缩存储和动态扩展。提出按照指标分类及关联关系建立数据缓存模型的方法,实现大数据的高效访问和灵活转换。在挖掘展现时应用动态可配置的设计方法,解决数据查询海量页面的动态生成问题。该文可为大数据存储、处理、挖掘研究提供有价值的参考,并将研究成果应用到统一资源库的建设中。
引用
收藏
页码:23 / 28
页数:6
相关论文