基于Storm的车联网数据实时分析系统

被引：6

作者：

张春风 ^{[1
,2
]}

申飞 ^{[1
]}

张俊 ^{[1
]}

陈杰 ^{[1
,2
]}

刘静 ^{[1
,2
]}

机构：

[1] 中国科学院强磁场科学中心

[2] 中国科学技术大学

来源：

计算机系统应用 | 2018年 / 27卷 / 03期

关键词：

车联网; Storm; 实时分析; 低延迟; 高吞吐;

D O I：

10.15888/j.cnki.csa.006244

中图分类号：

TN929.5 [移动通信]; TP311.13 []; U495 [电子计算机在公路运输和公路工程中的应用];

学科分类号：

1201 ; 0838 ;

摘要：

针对传统车联网平台在处理海量数据时存在吞吐量小,实时性差的问题,设计了一种基于大数据流处理技术的实时分析系统.系统分为数据采集、数据转发、实时分析、数据存储和可视化展示5层.为了满足系统高并发接入以及实时性的需求,引入Storm实时计算系统进行数据的实时分析.同时,利用Kafka消息队列的异步通信机制将各层之间解耦,采用Hbase进行海量数据存储,从而提高车联网非机构化数据存储效率.另外,针对访问数据库开销大的问题,采用Redis缓存策略,进一步提高查询效率.实验证明,较传统的多线程处理平台,该系统具有低延迟,高吞吐,可拓展等特点,能够满足车联网大数据流处理要求.

引用

页码：44 / 50

页数：7

共 9 条

[1] 基于Storm的实时日志分析系统的设计与实现.[D].屈国庆.南京大学.2016, 10
[2] 基于出租车GPS轨迹数据的实时交通状态获取和现有实时路况系统评估.[D].杨婷婷.华东师范大学.2016, 10
[3] 一种基于Storm的分布式实时增量计算框架的研究与实现.[D].李劲松.电子科技大学.2015, 02
[4] 基于Storm的实时计算系统的研究与实现.[D].戴菲.西安电子科技大学.2014, 03
[5] 基于Storm的数据分析系统设计与实现.[D].孙朝华.北京邮电大学.2014, 04
[6] 基于Storm的城市消防联网远程监控系统的实时数据处理应用
杨素素
[J]. 计算机测量与控制, 2017, 25 (03) : 55 - 59
[7] 实时大数据处理技术在状态监测领域中的应用
周国亮
朱永利
王桂兰
宋亚奇
[J]. 电工技术学报, 2014, 29(S1) (S1) : 432 - 437
[8] 基于Storm的海量数据实时聚类
王铭坤
袁少光
朱永利
王德文
[J]. 计算机应用, 2014, 34 (11) : 3078 - 3081
[9] 基于数据流的实时处理框架模型
李庆华
陈球霞
蒋盛益
[J]. 计算机工程, 2005, (16) : 59 - 60+63

← 1 →