基于MapReduce集群的加权公平队列调度算法研究

该文针对Hadoop自带的MapReduce调度器的不足,提出了具有优先级和权重的公平调度算法。算法可以清楚地区分出用户服务的等级,同时又保证一定程度的公平性,保证不至于被少量高优先级用户占有系统绝大部分资源。同时可以更好的实现数据的本地性,提高系统的整体效率和并行度,从而减小相应时间,避免节点闲置,浪费系统资源。