基于Hadoop与Storm的日志实时处理系统研究

被引：15

作者：

李洋 ^{[1
]}

吕家恪 ^{[1
,2
]}

机构：

[1] 西南大学计算机与信息科学学院

[2] 重庆市数字农业重点实验室

来源：

西南师范大学学报(自然科学版) | 2017年 / 42卷 / 04期

基金：

中央高校基本科研业务费专项资金资助;

关键词：

日志; Hadoop; Flume; Storm; HBase;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

日志数据记录着丰富的信息,具有较高的实用价值,但在当今大数据时代环境下,数据量的陡增为日志数据的处理带来了挑战.为了有效地解决海量日志数据处理面临的瓶颈问题,本文整合Hadoop和Storm分布式框架,构建一种融合了实时计算与离线计算的分布式日志实时处理系统.系统架构由数据服务层、业务逻辑层和Web展示层组成,数据服务层使用Flume实时采集日志数据,并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析,并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析,离线分析的结果为实时分析提供支持、参考;Web展示层负责日志数据及其分析结果的展示.实验结果表明,系统能有效地解决日志数据的采集存储、实时日志流数据的实时分析和历史日志数据的离线分析等问题,并成功地融合了Hadoop与Storm各自的优势,为日志数据的采集和分析系统的构建提供新的技术参考.

引用

页码：119 / 126

页数：8

共 9 条

[1] 基于Apache Flume的分布式日志收集系统设计与实现 [J].