基于资源状况的延时等待公平调度算法的研究

随着互联网技术的迅猛发展,大规模的数据也随之产生,传统的数据存储方式和处理方式已经不能满足海量数据对存储和处理的需求。云计算平台的出现,则为海量数据的存储和处理提供了一个很好的解决方案。本文选取具有诸多优点的Hadoop云计算平台作为研究对象。作业调度算法是直接关系着Hadoop平台用户体验和整体性能的关键技术之一。因此对]Hadoop平台作业调度算法的研究具有现实意义。本文首先阐述了Hadoop的背景知识,深入分析了Hadoop平台的关键技术,包括HDFS和MapReduce两大核心内容,并对Hadoop平台上作业执行流程进行研究,然后在Linux系统下,以多线程和消息通信为技术基础,采用C语言编程对MapReduce计算模型进行了仿真实验。然后,针对Hadoop平台现有的公平调度算法任务等待超时时间对本机架和其他机架不区分,且为静态等不足,给出了基于资源状况的延时等待公平调度算法。该算法通过采用定期获取集群资源状况以确定等待超时时间,使其具备一定的动态性。同时,为了缩短作业运行时间,在任务调度时,根据任务的分类并结合任务的特点,采用不同的调度策略。最后,通过搭建Hadoop实验平台并选取合适的基准程序,然后通过一系列的实验证明了基于资源状况的延时等待公平调度算法比原算法在一定程度上缩短了作业运行时间,验证了基于资源状况的延时等待公平调度算法的有效性。