基于Hadoop平台的分布式任务调度算法研究

随着信息技术的发展,互联网作为一种服务越来越深远地影响人类的生活。在信息爆炸的背景下,海量信息处理成为计算机科学的新挑战。MapReduce是一个并行分布式数据处理编程模型,它的优势在于简化传统分布式程序的开发,使得开发人员只需专注于业务逻辑程序的编写无需考虑分布式的实现细节。Hadoop是MapReduce的开源实现,它是众多的海量数据处理企业、研究机构提供数据处理的基础平台。MapReduce调度算法主要解决的是集群共享,集群资源的利用,作业的响应时间等问题。同时,随着用户的实时性要求的增加关于MapReduce的实时调度的研究也越来越多。MapReduce的实时调度的难点在于作业实时调度的模型,同时又要考虑到集群的异构性和数据的本地性。任务剩余时间预测是实时调度的重要部分,剩余时间的预测往往易受到集群的异构性特点的影响。 通过研究Hadoop作业运行时机制,本文提出了一种自适应的Reduce任务调度算法(Self-Adaptive Reduce Scheduling, SARS)。在现有的MapReduce调度算法研究中,Reduce任务的调度时间过于简单。Reduce任务的调度时间直接影响Reduce的完成时间和集群资源的利用率。SARS调度算法能够根据作业自身的特性决定Reduce任务的调度时间。实验结果表明SARS调度算法减少了Reduce的完成时间和集群作业的平均响应时间,进一步提高了集群资源的利用率。 通过研究集群的异构性,本文提出了一种基于计算能力的节点分类算法,用于划分集群中不同计算能力的节点。在节点分类算法的基础上,提出了一种基于时间约束的实时调度算法(MapReduce Task Scheduling for Deadline constraints, MTSD)。MTSD提出了一种任务剩余时间评估模型,进而推导出实时作业调度时资源的需求模型。通过实验表明MTSD提高了MapReduce作业的数据本地性,并能够完成实时调度需求。