Hadoop集群性能优化技术研究

被引:9
作者
辛大欣
刘飞
机构
[1] 西安工业大学
关键词
Hadoop集群; 性能优化; 配置参数; 作业调度;
D O I
暂无
中图分类号
TP338 [各种电子数字计算机];
学科分类号
081201 ;
摘要
Hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题,阐明了Hadoop性能优化技术研究的必然性,并介绍了当前Hadoop优化的三个主要思路:从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。
引用
收藏
页码:5484 / 5486
页数:3
相关论文
共 4 条
[1]  
http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/ .
[2]  
Implementing WebGIS on Hadoop: A Case Study of Improving Small File I/O Performance on HDFS. Xuhui Liu,Jizhong Han,Yunqin Zhong,Chengde Han. Cluster Computing and Workshops, 2009 CLUSTER‘09 .
[3]  
A dynamic mapreduce scheduler for heterogeneous workloads. Tian C,,Zhou H,He Y. Proceedings of the 2009 Eighth InternationalConference on Grid and Cooperative Computing,ser.GCC’’09 . 2009
[4]  
Job Scheduling for Multi-User MapReduce Clusters. Matei Zaharia,Dhruba Borthakur,Joydeep Sen Sarma,Khaled Elmelegy,Scott Shenker,Ion Stoica. Technical Report UCB/EECS-2009-55 . 2009