Hadoop平台下基于资源预测的Delay调度算法

被引:5
作者
魏晓辉
付庆午
李洪亮
机构
[1] 吉林大学计算机科学与技术学院
关键词
Hadoop平台; Mapreduce模型; 资源调度; 资源预测; Delay调度;
D O I
暂无
中图分类号
TP301.6 [算法理论];
学科分类号
摘要
针对Delay算法的不合理等待问题,提出一种基于资源预测的Delay调度算法(RFD),该算法基于对资源可用性的预测方法合理地调度作业.实验结果表明,在Hadoop机群一般应用场景下,该调度算法与已有算法相比,在保证作业本地化计算Map任务比例相近的同时,将作业平均运行效率提高28.8%,明显提高了Mapreduce作业的执行效率.
引用
收藏
页码:101 / 106
页数:6
相关论文
共 3 条
[1]   基于HDFS的云数据备份系统 [J].
郭东 ;
杜勇 ;
胡亮 .
吉林大学学报(理学版), 2012, 50 (01) :101-105
[2]   利用LSF调度程序的插件机制在Gfarm上实现Data aware调度 [J].
魏晓辉 ;
Li Wilfred ;
徐高潮 ;
胡亮 ;
鞠九滨 .
吉林大学学报(理学版), 2005, (06) :71-75
[3]  
Cloudstore Distributed File System Website .2 Cloudstore. http://kosmosfs.sourceforge.net . 2011