一种基于SSD的高性能Hadoop系统的设计与应用

被引：1

作者：

陈丽 ^{[1
]}

王锐 ^{[2
]}

胡刚 ^{[3
]}

机构：

[1] 广东交通职业技术学院

[2] 中国移动通信集团广东有限公司

[3] 星环信息科技(上海)有限公司

来源：

广东水利电力职业技术学院学报 | 2016年 / 14卷 / 01期

关键词：

大数据; Hadoop; Spark; SSD; 行列混合式存储;

D O I：

暂无

中图分类号：

TP311.13 []; TP333 [存贮器];

学科分类号：

1201 ; 081201 ;

摘要：

在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架Map Reduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限。基于内存计算的Spark成为当前重点,对比Map Reduce性能可提升10-100倍,但内存使用的成本依旧高昂。采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升。

引用

页码：39 / 44

页数：6