面向大规模感知数据的实时数据流处理方法及关键技术

被引：9

作者：

亓开元 ^{[1
,2
,3
]}

韩燕波 ^{[1
]}

赵卓峰 ^{[1
]}

马强 ^{[2
,3
]}

机构：

[1] 北方工业大学云计算研究中心

[2] 中国科学院计算技术研究所

[3] 中国科学院大学

来源：

计算机集成制造系统 | 2013年 / 19卷 / 03期

关键词：

数据流处理; 大规模数据处理; MapReduce方法; 适应性架构; 负载均衡;

D O I：

10.13196/j.cims.2013.03.195.qiky.018

中图分类号：

TP301.6 [算法理论];

学科分类号：

摘要：

为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。

引用

页码：641 / 653

页数：13

共 6 条

[1] 分布式数据流处理系统的动态负载平衡技术
邓华锋
刘云生
肖迎元
[J]. 计算机科学, 2007, (07) : 120 - 123
[2] 流数据分析与管理综述
金澈清
钱卫宁
周傲英
[J]. 软件学报, 2004, (08) : 1172 - 1181
[3] 一个有效的动态负载平衡方法
刘振英
方滨兴
胡铭曾
张毅
[J]. 软件学报, 2001, (04) : 563 - 569
[4] 数据库集群系统的关键技术研究[D]. 龚卫华.华中科技大学. 2006
[5] 运筹学[M]. 高等教育出版社 , 刁在筠等编, 2001
[6] Evaluating MapReduce for multi-core and multiprocessor systems .2 Ranger C,Raghuraman R,Penmetsa A,et al. HPCA’’07 . 2007

← 1 →