异构环境下自适应的Map-Reduce调度

被引：22

作者：

陈全

邓倩妮

机构：

[1] 上海交通大学计算机科学与工程系

来源：

计算机工程与科学 | 2009年 / 31(S1)卷 / S1期

关键词：

Map-Reduce; 异构环境; 调度算法; 自适应;

D O I：

暂无

中图分类号：

TP301 [理论、方法];

学科分类号：

081202 ;

摘要：

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式。通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务。并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源。最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间。

引用

页码：168 / 171+175 +175

页数：5