分布式云存储网关的设计与实现

随着互联网的普及和信息量的爆炸性增长，数据存储花费占企业总体开支的比重越来越大，企业正面临着前所未有的存储挑战。近几年出现的云存储因具有高性价比，高可扩展性，高可用性，高可靠性等优点，正逐渐为市场所接受。尽管云存储技术正处在高速发展中，且具有巨大的市场潜力，但仍存在访问接口不统一、安全性不足、访问速度低下等缺陷，这些缺陷已成为云存储应用的主要障碍。为解决这些问题，本文提出一种云存储网关的设计方案，并基于该方案实现了原型系统。该系统不但能够简化云存储的访问方式，而且能够成倍提高云存储的访问速度，并保护用户数据的安全。 本文所设计的系统通过使用普通PC作为服务器在用户本地搭建而成，以多台普通PC构成的分布式缓存系统作为快速的一级存储设施，以云存储作为慢速、大容量的二级存储设施。系统在将分布式缓存中的文件换出至云存储的过程中自动进行压缩和加密操作，在将云存储中的文件载入至缓存的过程中自动进行解压和解密操作。同时系统为所有本地用户提供全局统一的目录空间和POSIX风格的API。本文的具体工作如下： 1）提出了一种云存储网关的设计方案，并基于该方案实现了一个云存储网关系统。 2）针对本系统的应用场景就系统涉及到的关键技术如命名空间管理、地址映射、缓存替换和副本管理等进行了详细的讨论，并提出了一种新的元数据组织存储方案和改进的LNC缓存替换算法。 3）给出了系统的整体设计方案和模块划分，并就系统中的主要流程和这些模块之间的交互过程进行了详细的阐述。 4）就系统中关键的命名空间管理模块和缓存空间管理模块进行了详细的阐述，并给出了命名空间管理、地址映射、缓存替换和副本管理等关键技术和算法的详细的设计与实现方案。 5）对原型系统进行了详细的测试，测试结果表明该系统在保证用户数据安全的同时能够有效的提高云存储的访问效率。