海量存储系统中并行文件系统的测试与优化

海量存储系统(Mass Storage System)是为存储海量数据而研制的存储系统,其本质特征在于该存储系统的可扩展性,即能在扩展系统容量和性能的同时,不增加系统管理的复杂性。并行文件系统(Parallel File System)是由一组节点(Node)组成的,这组节点通过相互之间的通信与协作,以更快的速度完成一项大规模的计算任务。并行文件系统是构筑高性能海量存储系统的基石,所以无论是在高性能计算还是在云存储都有着重要的研究意义,因此近年来得到广泛的关注和研究。 并行文件系统的测试,大致包括一致性测试、功能测试、压力测试、性能测试、推测性测试等,其中性能测试其中的重点。并行文件系统性能的测试测试的指标大致有两个,一个是吞吐量,衡量大文件I/O读写能力;另一个是IOPS,衡量小文件读写能力。 常用优化并行文件系统性能的策略有数据预取,数据缓存、合并小顺序I/O、条带化等技术。 缓存指利用缓冲区保存最近访问过的文件内容,以提高对文件的访问效率。预取是指在实际使用内存时提前将数据读取到内存中,从而提高访问效率。合并小顺序I/O,则是将若干个小文件的操作聚合成一个大文件的操作,从而减小磁盘操作的次数。条带化是把连续的数据块分割成相同大小的数据块,将每段数据分别写入到阵列中不同的磁盘。 本文主要研究并行文件系统的测试方法,以及优化性能的策略。研究内容主要包括:研究并行文件系统性能测试的标准及方法、学习改进文件系统性能的测试的方法、以GlusterFS为例验证各优化策略的效果。实验证明GlusterFS中的缓存策略改善了超过10MB/s的读性能,预取策略的两个方法合计提供了约15MB/s的读性能。