基于Hadoop的小文件存储优化方案

被引：12

作者：

李孟

曹晟

秦志光

机构：

[1] 电子科技大学计算机科学与工程学院

来源：

电子科技大学学报 | 2016年 / 01期

关键词：

Hadoop; 索引机制; 关联关系; 小文件存储;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

Hadoop作为成熟的分布式云平台,对较大的文件提供了可靠高效的存储服务,但在处理海量小文件时效率显著降低。该文提出了基于Hadoop的海量教育资源小文件的存储优化方案,利用教育资源小文件间的关联关系,将小文件进行合并成大文件以减少文件数量,并索引机制访问小文件、元数据缓存和关联小文件预取机制来提高文件的读取效率。实验结果表明,该方法提高了Hadoop文件系统存储小文件的存取效率。

引用

页码：141 / 145

页数：5