基于大规模廉价计算平台的海量数据处理系统的研究

被引：13

作者：

徐小龙 ^{[1
,2
]}

吴家兴 ^{[1
]}

杨庚 ^{[3
]}

程春玲 ^{[1
]}

王汝传 ^{[1
]}

机构：

[1] 南京邮电大学计算机学院

[2] 中国科学院软件研究所信息安全国家重点实验室

[3] 南京邮电大学计算机技术研究所

来源：

计算机应用研究 | 2012年 / 29卷 / 02期

基金：

高等学校博士学科点专项科研基金; 中国博士后科学基金;

关键词：

分布式计算; 数据处理; 云计算; 电信;

D O I：

暂无

中图分类号：

TP274 [数据处理、数据处理系统];

学科分类号：

0804 ; 080401 ; 080402 ; 081002 ; 0835 ;

摘要：

提出一种基于大规模廉价计算平台的海量数据处理模型,吸取了Map/Reduce计算模式和大规模分布式数据存储机制Bigtable的基本思想,实现了以数据为中心的计算密集型的经济性超级计算系统平台。系统选择电信部门的大规模业务数据为分析对象,对电信通话和数据业务的大规模数据集进行处理,从而向运营商和普通用户提供有价值的数据分析服务。该平台适用于其他多种海量数据的分布式处理,为其他的各种应用提供了一个具有良好参考价值的示范。

引用

页码：582 / 585

页数：4