Hadoop系统性能优化与功能增强综述

被引：70

作者：

董新华

李瑞轩

周湾湾

王聪

薛正元

廖东杰

机构：

[1] 不详

[2] 华中科技大学计算机科学与技术学院

[3] 不详

来源：

计算机研究与发展 | 2013年 / S2期

关键词：

大数据; Hadoop; 性能优化; MapReduce; 作业调度; HDFS;

D O I：

暂无

中图分类号：

TP333 [存贮器];

学科分类号：

摘要：

Hadoop已成为大数据关键部件,并获得了越来越多的支持.由于认识到Hadoop的巨大潜力,更多的用户在使用现有Hadoop平台技术的同时,着手研发和优化现有技术,以对Hadoop进行补充.在给出Hadoop系统基本框架的基础上,阐述了MapReduce并行计算框架优化、作业调度优化、HDFS性能优化、HBase性能优化和Hadoop功能增强等研究现状,分析已有技术的优势和不足,并探讨了未来的研究方向.

引用

收藏

页码：1 / 15

页数：15

相关论文

共 29 条

[1] FlatLFS:一种面向海量小文件处理优化的轻量级文件系统 [J].

付松龄 ;

廖湘科 ;

黄辰林 ;

王蕾 ;

李姗姗 .

国防科技大学学报, 2013, 35 (02) :120-126

[2] 一种周期性MapReduce作业的负载均衡策略 [J].

傅杰 ;

都志辉 .

计算机科学, 2013, 40 (03) :38-40

[3] HDFS的多安全级数据销毁机制设计 [J].

秦军 ;

邓谦 ;

张建平 .

计算机技术与发展, 2013, 23 (03) :129-133

[4] 异构资源环境下的MapReduce性能优化 [J].

陶永才 ;

石磊 .

小型微型计算机系统, 2013, 34 (02) :287-292

[5] Hadoop云平台的一种新的任务调度和监控机制 [J].

许丞 ;

刘洪 ;

谭良 .

计算机科学, 2013, 40 (01) :112-117

[6] 大数据管理:概念、技术与挑战 [J].

孟小峰 ;

慈祥 .

计算机研究与发展, 2013, 50 (01) :146-169

[7] 一种Hadoop小文件存储和读取的方法 [J].

张春明 ;

芮建武 ;

何婷婷 .

计算机应用与软件, 2012, 29 (11) :95-100

[8]

基于分布式索引和目录聚合的海量小文件存储研究[J]. 马灿,孟丹,熊劲.高技术通讯. 2012 (10)

[9] FlowS:一种MapReduce数据流公平调度方法 [J].

李奇原 ;

刘杰 ;

叶丹 ;

许舒人 .

计算机科学, 2012, 39 (09) :157-161+174

[10] 基于纠删码和动态副本策略的HDFS改进系统 [J].

李晓恺 ;

代翔 ;

李文杰 ;

崔喆 .

计算机应用, 2012, 32 (08) :2150-2153+2158