Hadoop远程过程调用机制的分析和应用

被引:10
作者
王博
陈莉君
机构
[1] 西安邮电大学计算机学院
关键词
Hadoop框架; 远程过程调用(RPC); 分布式存储; 分布式计算; 并发;
D O I
10.13682/j.issn.2095-6533.2012.06.017
中图分类号
TP338.8 [分布式计算机];
学科分类号
081201 ;
摘要
为了高效快速的开发和使用Hadoop远程通信功能,对Hadoop远程过程调用(Remote Procedure Call,RPC)机制进行分析,提出独立调用Hadoop RPC实现多客户端并发通信和大数据传输的机制,既继承Hadoop PRC框架,又在通信中增加数据文件传输,并采用线程池模拟多客户线程的测试方案。通过测试发现Hadoop远程过程调用在通信数据负载量和数据传输量的大致范围,测试方案和结论可用于Hadoop RPC应用的配置和开发。
引用
收藏
页码:74 / 77
页数:4
相关论文
共 11 条
[1]   基于Hadoop平台的海量文本分类的并行化 [J].
向小军 ;
高阳 ;
商琳 ;
杨育彬 .
计算机科学, 2011, 38 (10) :184-188
[2]   基于Hadoop的校园云计算系统 [J].
曹风兵 ;
吴开贵 ;
吴长泽 .
计算机系统应用, 2011, 20 (06) :6-11+5
[3]   云计算关键技术及基于Hadoop的云计算模型研究 [J].
洪沙 ;
杨深远 .
软件导刊, 2010, 9 (09) :9-11
[4]   基于Hadoop MapReduce模型的应用研究 [J].
谢桂兰 ;
罗省贤 .
微型机与应用, 2010, 29 (08) :4-7
[5]   Linux集群系统分析 [J].
崔小燕 .
西安邮电学院学报, 2006, (05) :103-106
[6]  
Java网络编程精解.[M].孙卫琴; 编著.电子工业出版社.2007,
[7]  
基于HDFS的分布式Namenode节点模型的研究.[D].李宽.华南理工大学.2011, 12
[8]  
MapReduce模型在Hadoop平台下实现作业调度算法的研究和改进.[D].陈艳金.华南理工大学.2011, 12
[9]  
基于Hadoop的数据挖掘算法研究与实现.[D].白云龙.北京邮电大学.2011, 09
[10]  
基于Hadoop平台的数据分析和应用.[D].姜文.北京邮电大学.2011, 09