随着信息技术的不断提升,信息化程度的不断提高,全球数据量呈现出爆炸式增长。面对当前PB级的海量存储需求,传统的文件系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。分布式文件系统是云存储环境下各种应用的基础平台。为了增强系统的可用性和容错性,分布式文件系统采用了副本技术。然而,副本的引入也带来了存储带宽开销、数据一致性、负载均衡等诸多问题。
本论文分析了云存储分布式文件系统中副本技术需要考虑的方面——网络环境的动态性和广域性、副本策略中的负载均衡、云存储的商业特征等,旨在解决云存储环境下分布式文件系统的副本策略问题,立足于副本初始创建阶段和副本动态调整阶段,开展了以下研究工作:
1.第1章综述了云计算、云存储的相关概念,着重介绍了本文研究的副本技术的优势和内容,并分析了副本技术需要解决的问题,引出本论文的研究内容。接着,第2章针对云存储分布式文件系统进行了研究,重点介绍了几款知名的分布式文件系统的设计理念、系统结构、副本策略。
2.针对云存储中的副本策略问题,在第3章中建立了分布式文件系统模型MNFS(Master Node File System),做为后续第4章和第5章相应副本策略研究的基础。MNFS模型采用中心服务器模式,将地理位置作为节点的基本属性,更注重文件系统多区域分布对副本策略的影响,引入虚拟节点,屏蔽物理节点差异性。
3.针对访问特性表现为读集中的云存储应用,第4章研究了副本创建阶段的副本放置问题,提出了基于用户历史信息和负载的副本放置策略ULPS (Placement Strategy based on User Information& Load Balance)。该策略利用用户历史副本访问特征对副本进行针对性的放置,同时充分考虑节点负载情况,提高了系统的性能。实验结果表明,ULPS策略在负载均衡和副本访问速率上均优于HDFS策略。
4.立足于副本动态调整阶段,第5章研究了副本调整阶段的副本策略,提出了基于代价的副本调整策略CDRS(Cost-Driven Replication Strategy)。该策略在保证副本可用性的前提下,通过引入市场机制中的代价,综合考虑负载均衡及一致性与可用性的平衡,对副本进行自适应的操作,达到最小化副本开销,最大化副本收益的目标。实验结果表明,与静态副本策略相比,CDRS策略可有效的均衡负载和提高副本收益。
本文从云存储分布式文件系统副本策略面临的问题出发,立足于副本初始创建和副本调整两个阶段,在建立的MNFS分布式文件系统模型上,提出了基于用户历史信息和负载的副本放置策略ULPS,以及基于代价的副本调整策略CDRS,为解决云存储分布式文件系统中的副本问题展示了全新的视角和美好的前景。
