MapReduce优化技术综述

被引：27

作者：

黄山

王波涛

王国仁

于戈

李佳佳

机构：

[1] 东北大学信息科学与工程学院

来源：

计算机科学与探索 | 2013年 / 10期

基金：

国家高技术研究发展计划(863计划);

关键词：

MapReduce; 列存储; 索引; 连接; 迭代; 科学计算; 调度算法; 优化;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

作为一种处理大数据的并行编程模型,MapReduce由于其良好的可扩展性、可用性、容错性,得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足,已经存在大量的优化技术。介绍了MapReduce框架,比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术,分析了MapReduce技术研究的挑战性问题,指出了未来研究方向。

引用

页码：885 / 905

页数：21

共 11 条

[1] 云数据管理系统中查询技术研究综述 [J].

史英杰 ;

孟小峰 .

计算机学报, 2013, 36 (02) :209-225

[2] 架构大数据:挑战、现状与展望 [J].

王珊 ;

王会举 ;

覃雄派 ;

周烜 .

计算机学报, 2011, 34 (10) :1741-1752

[3]

iMapReduce: A Distributed Computing Framework for Iterative Computation[J] . Yanfeng Zhang,Qixin Gao,Lixin Gao,Cuirong Wang.Journal of Grid Computing . 2012 (1)

[4]

Bigtable[J] . Fay Chang,Jeffrey Dean,Sanjay Ghemawat,Wilson C. Hsieh,Deborah A. Wallach,Mike Burrows,Tushar Chandra,Andrew Fikes,Robert E. Gruber.ACM Transactions on Computer Systems (TOCS) . 2008 (2)

[5]

MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat.Communications of the ACM . 2008 (1)

[6]

CoHadoop:flexible data placement and its exploitation in Hadoop .2 Eltabakh M,Tian Yuanyuan,zcan F,et al. Proceedings of the 37th International Conference on Very Large Data Bases (VLDB 11) . 2011

[7]

Torca introducetion .2 http://djt.qq.com/bbs/thread-29998-1-2.html . 2013

[8]

MD-HBase:a scalablemulti-dimensional data infrastructure for location aware services .2 Nishimura S,Das S,Agrawal D,et al. The 19th International Conference on Mobile Data Management(MDM) . 2011

[9]

Cloudera. http://www.cloudera.com . 2013

[10]

The digital universe in 2020:big data,bigger digital shadows,and biggest growth in the far east .2 http://www.emc.com/collateral/analyst-reports/idc-the-digitaluniverse-in-2020.pdf . 2013

← 1 2 →