云海大数据一体机体系结构和关键技术

被引：16

作者：

张东

亓开元

吴楠

辛国茂

刘正伟

颜秉珩

郭锋

机构：

[1] 高效能服务器和存储技术国家重点实验室

[2] 浪潮电子信息产业股份有限公司

来源：

计算机研究与发展 | 2016年 / 02期

关键词：

大数据一体机; 可扩展性; 可定制性; 混合型软件架构; 大数据行业应用;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

摘要：

为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.

引用

页码：374 / 389

页数：16

共 7 条

[1]

面向大规模感知数据的实时数据流处理方法及关键技术 [J].

亓开元 ;

韩燕波 ;

赵卓峰 ;

马强 .

计算机集成制造系统, 2013, 19 (03) :641-653

[2]

Dremel[J] Sergey Melnik;Andrey Gubarev;Jing Jing Long;Geoffrey Romer;Shiva Shivakumar;Matt Tolton;Theo Vassilakis Communications of the ACM 2011,

[3]

MapReduce[J] Jeffrey Dean;Sanjay Ghemawat Communications of the ACM 2008,

[4]

Brewer's conjecture and the feasibility of consistent; available; partition-tolerant web services[J] Seth Gilbert;Nancy Lynch ACM SIGACT News 2002,

[5]

Reevaluating Amdahl's law[J] John L. Gustafson Communications of the ACM 1988,

[6]

MIC高性能计算编程指南[M] 王恩东中国水利水电出版社 2012,

[7]

Paxos made simple Lamport L; ACM SIGACT News 2001,

← 1 →