MapReduce集群多用户作业调度方法的研究与实现

当前的数据密集型计算需要处理PB级数据集和GB级数据流,面临着大规模数据管理、复杂计算环境管理、可扩展计算平台等方面的难题。Hadoop是一种易扩展的分布式计算架构,能将廉价PC节点联合起来提供计算服务,其MapReduce框架为用户提供了容易使用的并行处理大规模数据的编程模式。 本文在分析了现有的Hadoop集群作业调度方法的基础上,对现有的MapReduce集群的多用户作业调度方法的数据本地性较差的问题进行了深入研究。并针对Hadoop现有调度算法不能很好的保障任务的数据本地性问题,提出了一种基于时间的等待调度方法,该方法优先将任务调度到其所需的数据所在的节点上执行,从而实现了更好的数据本地性,有效减少计算过程中的IO开销,实现提高系统吞吐率和减少单个作业平均响应时间的目的。 为验证方法的有效性,我们对提出的作业调度方法给出了设计与实现,并进行了实验验证。结果表明,基于时间的等待调度方法在保证多用户公平共享集群的基础上,节点的数据本地性得到很大的提高,有效增加了集群系统的吞吐量,有效减少了单个作业的平均响应时间。