基于哈希表的MapReduce算法优化

被引：5

作者：

李瑞霞

刘仁金

周先存

机构：

[1] 皖西学院信息工程学院

来源：

山东大学学报(理学版) | 2015年 / 50卷 / 07期

关键词：

分布式; 并行; MapReduce; Map函数; 哈希表; Hadoop;

D O I：

暂无

中图分类号：

TP311.11 [];

学科分类号：

081202 ; 0835 ;

摘要：

分布式并行计算是提高计算机性能常用的方法,但针对不同需求,并行程序的设计并没有统一的模型与方法,使得并行程序的编写完全依靠开发人员的经验。Google公司提出的分布式并行编程模型MapReduce能够完成特定类型的并行程序的开发与运行。使用哈希表对MapReduce分布式并行编程模型进行优化,减少中间结果中的碎片,并省略Combiner中间函数的调用,减少传输负载,提升运行效率,同时兼顾了Map函数与Reduce函数接口的属性,保持了MapReduce模型的并行性特点。

引用

页码：66 / 70

页数：5

共 14 条

[1] 云计算及其关键技术 [J].

陈全 ;

邓倩妮 .

计算机应用, 2009, 29 (09) :2562-2567

[2]

Automatic distributed-memory parallelization and code generation using the polyhedral framework. BONDHUGULA U. IISc-CSA-TR-2011-3 . 2011

[3]

Map-reducemerge:simplified relational data processing on large clusters. Yang H C,Dasdan A,Hsiao R L,et al. Proceedings of the 2007 ACM SIGMOD International Conference on Management of Data . 2007

[4]

Map-reducemerge:simplified relational data processing on large clusters. Yang H C,Dasdan A,Hsiao R L,et al. Proceedings of the 2007 ACM SIGMOD International Conference on Management of Data . 2007

[5] MapReduce并行编程模型研究综述 [J].