云计算数据中心结构及其调度机制研究

自云计算出现以来,经过科学技术的不断发展,经过学术界与产业界的不断推进,云计算的应用正不断发展和深入,云计算也正在从理论走向实践。 随着云计算技术的不断成熟,数据中心也随之发展。今天的数据中心已经不只是一个简单的服务器统一托管、维护的场所,它已经衍变成一个集大数据量运算和存储为一体的高性能计算机的集中地。云计算数据中心涉及十万百万规模的服务器或PC机等,资源数量大,异构性强。其中,数据中心的网络结构是设计云计算数据中心必须考虑的重要因素,它为云计算数据中心的高扩展性和资源的高利用率提供充分保障。此外,数据中心引入的副本技术(Replica)虽然是一种提高可用性和性能的重要方法。它弥补了存储对象单点失效、容错性差、接入性能不高等问题;但是也引入以下几个方面的问题:副本一致性问题、负载均衡问题以及由副本产生的各种硬件和通信上的代价问题等等。 本文深入分析和总结云计算数据中心的新特征,从数据中心网络结构的扩展性与绿色节能问题、副本策略问题,以及调度机制出发,紧紧围绕上述三个问题展开研究。本文的主要研究工作如下: 首先,介绍了云计算的概念以及云计算数据中心的概念,针对传统数据中心的不足,着重介绍了云计算数据中心具备的特点。详细分析了由于云计算环境中的资源规模庞大,异构性强等特性产生的三个重要问题:数据中心网络结构的扩展性与绿色节能问题、副本策略问题、以及调度机制。 其次,针对云计算数据中心结构上的可扩展性及绿色节能问题展开研究。充分考虑了新型数据中心应具备的新特点,借鉴已有知名数据中心结构,依据著名科赫曲线,提出了一种新型数据中心网络结构——雪花结构。该结构充分考虑了数据中心的可扩展性,在保证交换机与服务器较低数量比例的前提下,可以在较短的平均路径内实现节点间路由机制,具有较小的网络开销,并降低能耗。 再次,针对云计算中的副本及基于副本的调度问题展开研究。提出了基于副本的调度模型;引入市场机制中的代价因素,通过综合考虑副本地理特性、网络状态、应用服务特点等因素,提出一种代价驱动的自适应副本策略,该策略针对不同应用的一致性与可用性的重要程度,以代价为驱动力来自适应地进行副本复制、副本销毁、副本迁移等操作,以达到负载均衡等目的;提出适用于该模型的,基于副本和数据中心网络结构的调度策略。实验表明,该调度策略可以有效缩短任务调度之前复制副本产生的传输时间,复制副本的平均最短路径仅仅是随机调度算法的一半。 最后,针对调度机制展开研究。为增大服务方的收益,本文从云计算资源提供方的角度出发,充分考虑优先级、时间调度底线、收益、资源风险等调度因素,分别提出云计算环境中的在线调度策略和批调度策略。模拟实验表明,提出的调度策略有效提高了任务完成的总数,增大了服务方收益,降低了服务方接受任务时承担的成本,促进了调度环境的和谐发展。 本文从云计算数据中心网络结构、副本机制、调度机制引出的问题出发,紧紧围绕这三个问题进行了深入研究,提出的数据中心网络结构,副本策略和调度机制不仅解决了相应问题,而且能够为云计算数据中心的后续研究提供借鉴和帮助。