Hadoop平台的多队列作业调度优化方法研究

被引：19

作者：

李春艳 ^{[1
]}

何一舟 ^{[2
]}

戴彬 ^{[2
]}

机构：

[1] 湖北经济学院实验教学中心

[2] 华中科技大学电子与信息工程系

来源：

计算机应用研究 | 2014年 / 31卷 / 03期

关键词：

云计算; 调度优化; 性能分析;

D O I：

暂无

中图分类号：

TP301.6 [算法理论];

学科分类号：

080201 [机械制造及其自动化];

摘要：

对Hadoop平台的作业调度算法进行了研究,提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业,以提高节点的资源利用率;允许作业队列的资源在闲置时被其他作业队列占用;在原作业队列需要时可以被即时回收,即回收过程支持任务抢占;采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明,优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。

引用

页码：705 / 707+738 +738

页数：4