HDFS下载效率的优化

被引：22

作者：

曹宁

吴中海

刘宏志

张齐勋

机构：

[1] 北京大学软件与微电子学院

来源：

关键词：

云计算; Hadoop档案系统(HDFS); 多线程; 并行下载;

D O I：

暂无

中图分类号：

TP393.093 [];

学科分类号：

摘要：

针对HDFS的内部数据下载效率较低和可能出现的负载不均衡的问题进行了研究,从分布式文件整体下载效率和数据块的下载效率两方面提出了优化方法。实验结果表明:两个方法都能提高效率,但在集群有大量DataNode的前提下,两者结合起来的方法能更好地提高下载效率和均衡DataNode的负载。

引用

页码：2060 / 2065+2240 +2240

页数：7