Hadoop云平台MapReduce模型优化研究

被引：10

作者：

张红 ^{[1
,2
]}

王晓明 ^{[1
]}

曹洁 ^{[2
]}

马彦宏 ^{[3
]}

郭义戎 ^{[1
]}

王慜 ^{[1
]}

机构：

[1] 兰州理工大学电气与信息工程学院

[2] 兰州理工大学计算机与通信学院

[3] 国网甘肃省电力公司

来源：

计算机工程与应用 | 2016年 / 52卷 / 22期

关键词：

Hadoop; MapReduce; OpenMP; 分布式; 并行;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

针对Hadoop平台Map Reduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行了优化,提出一种Map Reduce+Open MP粗细粒度相结合的分布式并行计算模型。并在由四个节点组成的Hadoop集群环境下对不同规模大小的出租车GPS轨迹数据分析处理,验证该模型的性能和效率,实验结果证明Map Reduce+Open MP分布式并行计算模型确实能够提高针对大数据集的计算效率,是对Hadoop平台大数据分析处理模型有效的完善和优化。

引用

页码：22 / 25

页数：4

共 7 条

[1]

Object-Oriented Parallelisation of Java Desktop Programs.[J].Giacaman; Nasser;Sinnen; Oliver.IEEE Software.2011, 1

[2]

基于Hadoop的MapReduce计算模型优化与应用研究.[D].李张永.武汉科技大学.2015, 07

[3]

基于Hadoop的交通视频异常事件检测系统的设计与实现.[D].丁鸿凯.北京邮电大学.2015, 08

[4] Hadoop MapReduce短作业执行性能优化 [J].

顾荣 ;

严金双 ;

杨晓亮 ;

袁春风 ;

黄宜华 .

计算机研究与发展, 2014, 51 (06) :1270-1280

[5] 交通信息分布式处理中的Hadoop调度算法优化 [J].

孙卫真 ;

王秀锦 ;

徐远超 .

计算机工程与设计, 2014, 35 (04) :1269-1273+1278

[6] 基于Hadoop生态系统的大数据解决方案综述 [J].

陈吉荣 ;

乐嘉锦 .

计算机工程与科学, 2013, 35 (10) :25-35

[7] 基于Hadoop的高性能海量数据处理平台研究 [J].

翟岩龙 ;

罗壮 ;

杨凯 ;

徐晟晨 .

计算机科学, 2013, 40 (03) :100-103

← 1 →