基于HDFS的云存储服务系统研究

随着互联网技术的飞速发展,数据量呈现出爆炸性增长的趋势,企业面临着海量数据管理困难、数据存储成本高、可靠性低等难题。越来越多的企业开始将数据存储分离出来,向专业云存储服务供应商寻求帮助以进行数据的分布式管理。云存储服务具有高可靠性、高通用性、高扩展性及大容量存储等特点,因此进行云存储服务系统的研究不仅紧跟IT技术发展的趋势,而且具有较高的应用价值。 本文的研究内容为基于HDFS的云存储服务系统研究,旨在通过构建基于HDFS的云存储服务系统,解决企业的海量数据存储难题,降低实施分布式文件系统的成本,促进Hadoop技术的推广。云存储是在当前广泛讨论的云计算概念上延伸和发展出来的,可以将网络中大量不同类型的存储设备进行整合,从而对外提供数据存储和业务访问的功能。Hadoop分布式文件系统(Hadoop Distributed File System, HDFS)是开源云计算软件平台Hadoop框架的底层实现部分,具有高传输率、高容错性等特点,可以以流的形式访问文件系统中的数据,从而解决访问速度和安全性问题,实现海量数据的存储管理。 本文首先阐述了云存储的相关理论,介绍了云存储的定义、云存储系统结构和云存储服务系统的应用等内容；接着对HDFS数据管理机制及其实现技术进行了详细分析,为论文下一步的研究提供了技术保障；最后,通过结合实际需求,在对某云存储服务系统业务分析的基础上,对服务系统存储体系结构、功能结构、数据库及运行环境进行了设计,并对该系统加以实现,从而为企业海量数据存储提供了一个有效的解决方案。 本文主要实现了一个面向企业应用的云存储服务系统,解决了大规模非结构化数据的在线存储、查询、备份等问题,为企业应用提供了高效能、高可靠性的服务。尽管云存储服务系统目前已经取得了一定的研究成果,但对于如何保障云中数据的安全和隐私这一问题,仍是今后研究的重点,也是亟待解决的难题。