基于Docker的Hadoop平台架构研究

Hadoop作为云计算中重要的大数据处理平台,需要较高的读写速率。传统的虚拟化技术对于物理主机的资源利用率,无法达到真实物理主机的水平。同时,传统虚拟化技术难以灵活配置文件和自动化创建、部署机制。容器是基于共享Linux内核的一种虚拟化技术,能够达到接近物理主机的资源利用率。Docker是一种轻量级新兴的虚拟化容器技术,在复杂的集群系统的搭建方面,具有可移植、易使用、跨平台等优势。所以,在复杂的分布式应用集群的部署中,Docker能够快速、准确、标准化封装应用程序并自动化部署整个运行环境。因此,Docker是容器虚拟化技术下一个相对成熟的实现方案。通过实验验证了Docker相比传统虚拟化技术在读写性能上的优势,并构建了基于Docker的Hadoop平台,讨论了在Docker上构建Hadoop的优势。