学术探索
学术期刊
新闻热点
数据分析
智能评审
立即登录
大数据存储中的容错关键技术综述
被引:15
作者
:
宫婧
论文数:
0
引用数:
0
h-index:
0
机构:
南京邮电大学宽带无线通信与传感网技术教育部重点实验室
宫婧
论文数:
引用数:
h-index:
机构:
王文君
机构
:
[1]
南京邮电大学宽带无线通信与传感网技术教育部重点实验室
来源
:
南京邮电大学学报(自然科学版)
|
2014年
/ 34卷
/ 04期
关键词
:
大数据存储;
分布式存储;
容错;
复制;
纠删码;
再生码;
D O I
:
10.14132/j.cnki.1673-5439.2014.04.018
中图分类号
:
TP333 [存贮器];
TP302.8 [容错技术];
学科分类号
:
081201 ;
摘要
:
不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术。文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等。
引用
收藏
页码:20 / 25
页数:6
相关论文
共 6 条
[1]
基于网络编码的分布式存储容错机制研究.[D].胡燏翀.中国科学技术大学.2010, 10
[2]
数据密集型科学与工程:需求和挑战
[J].
宫学庆
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
宫学庆
;
金澈清
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
金澈清
;
王晓玲
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
复旦大学上海市智能信息处理实验室
华东师范大学软件学院 上海市高可信计算重点实验室
王晓玲
;
张蓉
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
张蓉
;
论文数:
引用数:
h-index:
机构:
周傲英
.
计算机学报,
2012,
35
(08)
:1563
-1578
[3]
大数据分析——RDBMS与MapReduce的竞争与共生
[J].
覃雄派
论文数:
0
引用数:
0
h-index:
0
机构:
教育部数据工程与知识工程重点实验室(中国人民大学)
中国人民大学信息学院
教育部数据工程与知识工程重点实验室(中国人民大学)
覃雄派
;
论文数:
引用数:
h-index:
机构:
王会举
;
论文数:
引用数:
h-index:
机构:
杜小勇
;
论文数:
引用数:
h-index:
机构:
王珊
.
软件学报,
2012,
23
(01)
:32
-45
[4]
重复数据删除技术
[J].
论文数:
引用数:
h-index:
机构:
敖莉
;
舒继武
论文数:
0
引用数:
0
h-index:
0
机构:
清华大学计算机科学与技术系
清华大学信息科学与技术国家实验室(筹)
清华大学计算机科学与技术系
舒继武
;
论文数:
引用数:
h-index:
机构:
李明强
.
软件学报,
2010,
21
(05)
:916
-929
[5]
软件容错:技术与展望
[J].
论文数:
引用数:
h-index:
机构:
孙鹏
;
论文数:
引用数:
h-index:
机构:
赵军锁
;
张文君
论文数:
0
引用数:
0
h-index:
0
机构:
中科院软件所
中国科学技术大学计算机科学与技术系
张文君
.
计算机工程与科学,
2007,
(08)
:88
-93
[6]
Hadoop分布式文件系统:架构和设计....2013,
←
1
→
共 6 条
[1]
基于网络编码的分布式存储容错机制研究.[D].胡燏翀.中国科学技术大学.2010, 10
[2]
数据密集型科学与工程:需求和挑战
[J].
宫学庆
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
宫学庆
;
金澈清
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
金澈清
;
王晓玲
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
复旦大学上海市智能信息处理实验室
华东师范大学软件学院 上海市高可信计算重点实验室
王晓玲
;
张蓉
论文数:
0
引用数:
0
h-index:
0
机构:
华东师范大学软件学院 上海市高可信计算重点实验室
华东师范大学软件学院 上海市高可信计算重点实验室
张蓉
;
论文数:
引用数:
h-index:
机构:
周傲英
.
计算机学报,
2012,
35
(08)
:1563
-1578
[3]
大数据分析——RDBMS与MapReduce的竞争与共生
[J].
覃雄派
论文数:
0
引用数:
0
h-index:
0
机构:
教育部数据工程与知识工程重点实验室(中国人民大学)
中国人民大学信息学院
教育部数据工程与知识工程重点实验室(中国人民大学)
覃雄派
;
论文数:
引用数:
h-index:
机构:
王会举
;
论文数:
引用数:
h-index:
机构:
杜小勇
;
论文数:
引用数:
h-index:
机构:
王珊
.
软件学报,
2012,
23
(01)
:32
-45
[4]
重复数据删除技术
[J].
论文数:
引用数:
h-index:
机构:
敖莉
;
舒继武
论文数:
0
引用数:
0
h-index:
0
机构:
清华大学计算机科学与技术系
清华大学信息科学与技术国家实验室(筹)
清华大学计算机科学与技术系
舒继武
;
论文数:
引用数:
h-index:
机构:
李明强
.
软件学报,
2010,
21
(05)
:916
-929
[5]
软件容错:技术与展望
[J].
论文数:
引用数:
h-index:
机构:
孙鹏
;
论文数:
引用数:
h-index:
机构:
赵军锁
;
张文君
论文数:
0
引用数:
0
h-index:
0
机构:
中科院软件所
中国科学技术大学计算机科学与技术系
张文君
.
计算机工程与科学,
2007,
(08)
:88
-93
[6]
Hadoop分布式文件系统:架构和设计....2013,
←
1
→