海量存储系统中并行文件系统的测试与优化

被引:0
作者
周凡夫
机构
[1] 上海交通大学
关键词
海量存储; 并行文件系统; 预取; 缓存; 条带化;
D O I
暂无
年度学位
2012
学位类型
硕士
导师
摘要
海量存储系统(Mass Storage System)是为存储海量数据而研制的存储系统,其本质特征在于该存储系统的可扩展性,即能在扩展系统容量和性能的同时,不增加系统管理的复杂性。并行文件系统(Parallel File System)是由一组节点(Node)组成的,这组节点通过相互之间的通信与协作,以更快的速度完成一项大规模的计算任务。并行文件系统是构筑高性能海量存储系统的基石,所以无论是在高性能计算还是在云存储都有着重要的研究意义,因此近年来得到广泛的关注和研究。 并行文件系统的测试,大致包括一致性测试、功能测试、压力测试、性能测试、推测性测试等,其中性能测试其中的重点。并行文件系统性能的测试测试的指标大致有两个,一个是吞吐量,衡量大文件I/O读写能力;另一个是IOPS,衡量小文件读写能力。 常用优化并行文件系统性能的策略有数据预取,数据缓存、合并小顺序I/O、条带化等技术。 缓存指利用缓冲区保存最近访问过的文件内容,以提高对文件的访问效率。预取是指在实际使用内存时提前将数据读取到内存中,从而提高访问效率。合并小顺序I/O,则是将若干个小文件的操作聚合成一个大文件的操作,从而减小磁盘操作的次数。条带化是把连续的数据块分割成相同大小的数据块,将每段数据分别写入到阵列中不同的磁盘。 本文主要研究并行文件系统的测试方法,以及优化性能的策略。研究内容主要包括:研究并行文件系统性能测试的标准及方法、学习改进文件系统性能的测试的方法、以GlusterFS为例验证各优化策略的效果。实验证明GlusterFS中的缓存策略改善了超过10MB/s的读性能,预取策略的两个方法合计提供了约15MB/s的读性能。
引用
收藏
页数:69
共 7 条
[1]
基于对象的网络存储.[M].郭玉东; 尹青; 编著.电子工业出版社.2007,
[2]
海量信息存储.[M].张江陵;冯丹著;.科学出版社.2003,
[3]
A nine year study of file system and storage benchmarking [J].
Traeger, Avishay ;
Zadok, Erez ;
Joukov, Nikolai ;
Wright, Charles P. .
ACM Transactions on Storage, 2008, 4 (02)
[4]
SCALE AND PERFORMANCE IN A DISTRIBUTED FILE SYSTEM [J].
HOWARD, JH ;
KAZAR, ML ;
MENEES, SG ;
NICHOLS, DA ;
SATYANARAYANAN, M ;
SIDEBOTHAM, RN ;
WEST, MJ .
ACM TRANSACTIONS ON COMPUTER SYSTEMS, 1988, 6 (01) :51-81
[5]
Sun Network Filesystem Protocol Specification..Sandberg R;..1985,
[6]
TPC...www.tpc.org.,
[7]
海量存储系统的研究与应用 [J].
白英彩 ;
金崇英 .
软件产业与工程, 2010, (05) :13-17+12