一种面向高性能计算的分布式对象存储系统

被引：9

作者：

陈曦

朱建涛

何晓斌

机构：

[1] 江南计算技术研究所

来源：

计算机工程 | 2017年 / 43卷 / 08期

关键词：

高性能计算; 对象存储; 存储语义; 元数据管理; 可扩展性;

D O I：

暂无

中图分类号：

TP333 [存贮器]; TP38 [其他计算机];

学科分类号：

081201 ;

摘要：

现有分布式文件存储系统存在数据组织低效和访问语义冗余等问题,严重限制了系统性能。为此,借鉴对象存储思想,设计面向高性能计算的分布式对象存储系统。分离数据访问和数据管理,实现更精简高效的访问语义,同时采用分布式全局对象数据组织方式,运用基于内存的元数据管理方法提升系统性能。实验结果表明,在大规模并发访问时,该系统的读/写聚合带宽相比Lustre系统分别提升22.5%和50.4%,文件创建、删除性能分别达到Lustre系统的2.15倍和5.13倍。此外,该系统还具有拟线性的数据读/写和元数据管理功能,可扩展性较好。

引用

页码：69 / 73

页数：5

共 5 条

[1] OpenStack Swift关键技术分析与性能评测
葛江浩
刘磊
李小勇
[J]. 微型电脑应用, 2013, 29 (11) : 9 - 12
[2] 面向数值模拟数据的HDF5性能优化
沈卫超
曹立强
夏芳
宋磊
[J]. 计算机研究与发展, 2012, (S1) : 314 - 318
[3] Redis设计与实现[M]. 机械工业出版社 , 黄健宏, 2014
[4] Hybrid hierarchy storage system in MilkyWay-2 supercomputer
Xu, Weixia
Lu, Yutong
Li, Qiong
Zhou, Enqiang
Song, Zhenlong
Dong, Yong
Zhang, Wei
Wei, Dengping
Zhang, Xiaoming
Chen, Haitao
Xing, Jianying
Yuan, Yuan
[J]. FRONTIERS OF COMPUTER SCIENCE, 2014, 8 (03) : 367 - 377
[5] Scalable performance of the Panasas parallel file system .2 Brent Welch,Marc Unangst,Zainul Abbasi,Garth Gibson,Carnegie Mellon,Brian Mueller,Jason Small,Jim Zelenka,Bin Zhou. Proceedings of the 6th USENIX Conference on File and Storage Technologies . 2008

← 1 →