数据密集型计算编程模型研究进展

被引:38
作者
王鹏 [1 ,2 ]
孟丹 [1 ]
詹剑锋 [1 ]
涂碧波 [1 ]
机构
[1] 中国科学院计算技术研究所高性能计算机研究中心
[2] 中国科学院研究生院
关键词
云计算; 数据密集型计算; 编程模型; 数据并行; 海量数据处理; MapReduce;
D O I
暂无
中图分类号
TP316.4 [分布式操作系统、并行式操作系统];
学科分类号
摘要
作为一种新兴的计算模式,云计算受到了学术界和产业界的广泛关注.云计算以互联网服务和应用为中心,服务提供者需要存储和分析海量数据.为了能够低成本高效率地处理Web量级数据,主要的互联网公司都在由商品化服务器组成的大规模集群系统上研发了分布式编程系统.编程模型可以降低开发人员在大规模集群上编程的难度,并让程序充分利用集群资源,但设计这样的编程模型面临巨大挑战.首先说明了数据密集型计算的特点,并指出了编程模型要解决的基本问题;接着深入介绍了国际上代表性的编程模型,并对这些编程模型的特点进行了比较和分析;最后对当前所面临的问题和今后的发展趋势进行了总结和展望.
引用
收藏
页码:1993 / 2002
页数:10
相关论文
共 9 条
[1]  
云计算:系统实例与研究现状[J]. 陈康,郑纬民.软件学报. 2009(05)
[2]   应用驱动的高效能计算机系统的研究与发展 [J].
洪学海 ;
詹剑锋 ;
樊建平 ;
张志宏 .
计算机研究与发展 , 2007, (10) :1633-1639
[3]  
Technical perspective[J] . David A. Patterson.Communications of the ACM . 2008 (1)
[4]  
Interpreting the data: Parallel analysis with Sawzall[J] . Carlos A. Varela,Paolo Ciancarini,Kenjiro Taura,Rob Pike,Sean Dorward,Robert Griesemer,Sean Quinlan.Scientific Programming . 2005 (4)
[5]   Data-intensive e-science - Frontier research [J].
Newman, HB ;
Ellisman, MH ;
Orcutt, JA .
COMMUNICATIONS OF THE ACM, 2003, 46 (11) :67-75
[6]  
Dryad:Distributed Data-parallel Programs from Sequential Building Blocks .2 M. Isard,M. Budiu,Y. Yu,A. Birrell,D. Fetterly. Proceedings of the 2nd ACM SIGOPS/EuroSys European Conference on Computer Systems . 2007
[7]  
The LI NQ project .2 Microsoft. http://msdn.microsoft.com/netframework/future/linq . 2008
[8]  
Evaluating Ma-pReduce for Multi-Core and Multiprocessor Systems .2 Colbyranger,Raghuraman R,Penmetsa A. Proc of the IEEE 13th Int’l Symp on High PerformanceComputer Architecture . 2007
[9]  
All-pairs:an abstrac-tion for data-intensive cloud computing .2 MORETTI C,BULOSAN J,THAIN D,et al. Proc of IEEE Interna-tional Symposium on Parallel and Distributed Processing . 2008