基于MapReduce的大数据流程处理方法

被引：1

作者：

王东雷

孙忠林

机构：

[1] 山东科技大学信息科学与工程学院

来源：

计算机应用 | 2013年 / 33(S2)卷 / S2期

关键词：

数据流程处理; 数据汇聚; MapReduce; Hadoop; MapReduce查询语言;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

处理效率是数据流程处理的重要指标,简单的单服务器结构已经难以适应海量数据的处理任务。为了能够完成海量数据的流程处理任务,简要介绍了Google的MapReduce的结构,Fegaras等剔除的MapReduce查询语言(MRQL),并基于MapReduce编程模型和MRQL提出了一种分布式数据汇聚方法。该方法借助MapReduce完成数据处理流程的执行,借助MRQL控制MapReduce。在XBus数据汇聚平台基础上,结合MapReduce和MRQL实现了MRXBus分布式数据汇聚平台,验证了该方法的可行性。实验表明,该方法可以减少大数据量的处理时间,提高处理效率。

引用

页码：57 / 59+127 +127

页数：4

共 13 条

[1]

Hive: a warehousing solution over a map-reduce framework. Ashish Thusoo,Joydeep Sen Sarma,Namit Jain,Zheng Shao,Prasad Chakka,Suresh Anthony,Hao Liu,Pete Wyckoff,Raghotham Murthy. Proceedings of the VLDB Endowment . 2009

[2]

MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat. &nbspCommunications of the ACM . 2008 (1)

[3]

Hadoop权威指南[M]. 清华大学出版社 , (美) 怀特 (White, 2010

[4] 一种分布式环境中海量XML数据的有效查询机制 [J].

罗静 ;

陈宁 .

重庆交通大学学报(自然科学版), 2009, 28 (04) :807-812

[5]

XML query optimization in mapreduce. FEGARAS L,LI C,GUPTA U,et al. WebDB 2011:Proceedings of the Fourteenth International Workshop on the Web and Databases . 2011

[6]

The Hadoop distributed file system:architecture and design. BORTHAKUR D. http://hadoop.apache.org/docs/r0.18.0/hdfs_design.pdf . 2013

[7]

Hadoop. http://hadoop.apache.org/ . 2013

[8]

Pig Latin:a not-soforeign language for data processing. OLSTON C,REED B,SRIVASTAVA U,et al. Proceedings of the 2008ACM SIGMOD International Conference on Management of Data . 2008

[9]

ChuQL:processing XML with XQuery using Hadoop. KHATCHADOURIAN S,CONSENS M,SIMON J. Proceedings of the2011 Conference of the Center for Advanced Studies on Collaborative Research . 2011

[10]

MRQL. http://lambda.uta.edu/mrql/ . 2013

← 1 2 →