一种电力设备状态监测大数据的分布式联机分析处理方法

电力设备状态监测大数据分析是一个热点研究课题,对保障电力设备的安全稳定运行具有重要意义。联机分析处理(on-line analytical processing,OLAP)可以多角度、快速存取与分析数据,是实现电力设备状态监测大数据分析的一种重要技术手段。通过分析大数据环境下的OLAP技术,设计一种电力设备状态监测大数据分析平台,给出3种分布式数据分析方案,包括基于Hive的关系型联机分析、基于Impala的关系型联机分析和基于HBase的多维联机分析。分布式关系型联机分析虽然在一定程度上满足电力企业的需求,但其数据模型中表之间频繁的连接操作,导致其出现性能瓶颈。针对分布式关系型联机分析数据模型连接操作开销大、查询速度慢等问题,提出了基于无连接层次编码的电力设备状态监测数据模型,对常规数据模型进行改进,把维表的层次信息进行编码存储到事实表中,减少连接操作,以优化性能。采用Hive和Impala等大数据分析工具,在不同规模监测数据集上对本模型的数据加载、上卷操作、存储开销等方面进行实验测试。实验结果表明,数据加载速度约是常规模型的42%,上卷执行时间比常规数据模型缩短40%至49%,存储开销大约比常规星型模型减少37%,验证了本方法的有效性与可行性,给电力设备状态监测大数据分析带来一种新的思路。