云计算中的网络拓扑设计和Hadoop平台研究

云计算是2007年底正式提出的一个新的概念,它是一个革命性的举措,意味着计算能力也可以作为一种商品进行流通,就像煤气、水电一样,取用方便,费用低廉,不同之处只是在于它是通过互联网进行传输的。至今为止,Google、Microsoft、IBM、亚马逊等IT商业巨头都推出了自己的云计算平台,并把云计算作为其未来发展的最主要战略之一。因此,云计算的研究不但紧跟业界技术发展的趋势,同时还具有较高的应用价值。 在云计算系统的后端,有成千上万的服务器,如何将如此大量的服务器有效地组织是云计算系统高效稳定运行关键问题之一。一个合理的网络拓扑不但可以提高网络的性能,而且能够保证网络的稳定性,使网络在部分节点或链路故障或拥挤时也能正常工作。云计算系统后端的网络拓扑特性有别于一般的网络拓扑,需要我们重新考虑和研究。 Hadoop是一个在集群上运行大型数据库处理应用程序的开放式源代码框架。它支持通过Google的MapReduce编程范例来创建并执行的应用程序,在很多大型网站上都已经得到了应用,可以说是目前最为广泛应用的开源云计算软件平台。但其发展时间较短,研究还不够深入,还有较多值得改进的地方。考虑云计算以上两个方面,本文主要进行了以下研究: 1.通过调研云计算的网络需求,分析云计算的网络拓扑结构特点,提出云计算网络拓扑结构应该由中心的主干交换部分和外围的树状子网组成的基本构想。然后利用图论和最优化理论,基于贪心算法思想,针对其主干交换网络的拓扑设计提出了自动拓扑设计算法RGA并仿真实现,通过和已有算法的比较,证明了算法的有效性和优越性。 2.通过调研Hadoop的相关资料,在实验室搭建配置了8台PC组成的Hadoop平台。然后对Hadoop的MapReduce工作模式进行分析,针对它的多任务调度提出了基于优先级的加权轮询算法(PBWRR)并在Hadoop平台上编程实现。最后比较了PBWRR和Hadoop平台默认使用的FIFO调度算法,讨论了它们的优劣和各自适用的场景。 最后我们对论文工作进行了总结,并讨论了对进一步工作的展望。