交通信息分布式处理中的Hadoop调度算法优化

被引：7

作者：

孙卫真

王秀锦

徐远超

机构：

[1] 首都师范大学信息工程学院

来源：

计算机工程与设计 | 2014年 / 35卷 / 04期

关键词：

分布式处理软件框架; 映射和简化; 智能交通; 调度优化; 分布式计算; 计算机集群; 并行运算;

D O I：

10.16208/j.issn1000-7024.2014.04.031

中图分类号：

TP301.6 [算法理论];

学科分类号：

081202 ;

摘要：

为从海量交通信息数据中有效地挖掘出为城市智能交通服务的信息,提出了在分布式环境下的改进型计算能力调度算法。根据对海量交通信息数据与分布式调度算法进行的分析与研究,指出了相关数据的特点与算法待改进的关键点,架构了在分布式平台下公平调度与延时调度的改进模型,优化了Hadoop在对交通数据处理时的调度算法,弥补了普通调度算法实时性的不足。实验结果表明,在分布式环境下,使用优化后的调度算法处理计算密集型或I/O密集型交通信息数据,计算所花时间较小,性能较优,具有较好的实时性。

引用

页码：1269 / 1273+1278 +1278

页数：6

共 11 条

[1] Hadoop集群作业的调度算法 [J].

王峰 .

程序员, 2009, (12) :119-121

[2]

A load-aware scheduler for MapReduceframework in heterogeneous cloud environments. You, H. H,Yang, C. C,Huang, J. L. Proceedings of the2011ACMSymposium on Applied Computing . 2011

[3]

Assigning tasks for efficiency in Hadoop. Fischer M J,Su X,Yin Y. Proceedings of the 22nd ACM Symposium on Parallelism in Algorithms and Architectures . 2010

[4]

MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat. &nbspCommunications of the ACM . 2008 (1)

[5]

Design of Hadoop-based Framework for Analytics of Large Synchrophasor Datasets[J] . Matthew Edwards,Aseem Rambani,Yifeng Zhu,Mohamad Musavi. &nbspProcedia Computer Science . 2012

[6] 基于大规模廉价计算平台的海量数据处理系统的研究 [J].

徐小龙 ;

吴家兴 ;

杨庚 ;

程春玲 ;

王汝传 .

计算机应用研究, 2012, 29 (02) :582-585

[7] 基于QoS约束的计算能力调度算法研究 [J].

丁宇光 ;

刘文杰 ;

王卫林 .

四川理工学院学报(自然科学版), 2012, 25 (03) :47-50

[8] Hadoop下基于统计最优的资源调度算法 [J].

邓传华 ;

范通让 ;

高峰 .

计算机应用研究, 2013, 30 (02) :417-419+422

[9]

Quincy:Fair scheduling for distributed computing clusters. Isard M,Prabhakaran V,Currey J,et al. Proceedings of the 22nd Symposium on Operating Systems Principles . 2009

[10]

Estimating Beijing′s travel delays at intersections with floating car data. Liu X,Lu F,Zhang H,et al. Proceedings of the 5th International Workshop on Computational Transportation Science . 2012

← 1 2 →