大数据存储中的容错关键技术综述

被引:15
作者
宫婧
王文君
机构
[1] 南京邮电大学宽带无线通信与传感网技术教育部重点实验室
关键词
大数据存储; 分布式存储; 容错; 复制; 纠删码; 再生码;
D O I
10.14132/j.cnki.1673-5439.2014.04.018
中图分类号
TP333 [存贮器]; TP302.8 [容错技术];
学科分类号
081201 ;
摘要
不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术。文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等。
引用
收藏
页码:20 / 25
页数:6
相关论文
共 6 条
[1]  
基于网络编码的分布式存储容错机制研究.[D].胡燏翀.中国科学技术大学.2010, 10
[2]   数据密集型科学与工程:需求和挑战 [J].
宫学庆 ;
金澈清 ;
王晓玲 ;
张蓉 ;
周傲英 .
计算机学报, 2012, 35 (08) :1563-1578
[3]   大数据分析——RDBMS与MapReduce的竞争与共生 [J].
覃雄派 ;
王会举 ;
杜小勇 ;
王珊 .
软件学报, 2012, 23 (01) :32-45
[4]   重复数据删除技术 [J].
敖莉 ;
舒继武 ;
李明强 .
软件学报, 2010, 21 (05) :916-929
[5]   软件容错:技术与展望 [J].
孙鹏 ;
赵军锁 ;
张文君 .
计算机工程与科学, 2007, (08) :88-93
[6]  
Hadoop分布式文件系统:架构和设计....2013,