基于范德蒙码的HDFS优化存储策略研究

被引:17
作者
宋宝燕
王俊陆
王妍
机构
[1] 辽宁大学信息科学与技术学院
关键词
大数据; HDFS; 范德蒙码; 分散式动态副本; 优化存储;
D O I
暂无
中图分类号
TP333 [存贮器];
学科分类号
081201 ;
摘要
随着大数据时代的到来,新型文件系统HDFS(Hadoop分布式文件系统)的应用越来越广泛.但其本身也存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题.因此,该文提出了一种基于范德蒙码的HDFS分散式动态副本存储优化策略,针对HDFS大多部署在大量的廉价硬件集群上的实际情况,在范德蒙码优化策略的基础上,采用分散式动态副本控制的思想对HDFS文件操作的计算过程、计算模式以及译码触发策略进行系统的改进,并通过校验码动态设置的方式将容错度控制在一个理想的范围之内,此外,结合伽罗华有限域理论对范德蒙码的编译码操作及计算方法进行全面优化,在不影响HDFS存储结构的前提下,降低了范德蒙码编译码的时间代价和计算的内存压力,节约了HDFS约30%的存储开销,数据可靠性提高了约200%,均衡HDFS系统节点负载能力,译码恢复效率平均提升约40%,形成了一套完整的、系统的优化方案,为未来HDFS的发展提供了一条有效途径.
引用
收藏
页码:1825 / 1837
页数:13
相关论文
共 11 条
[1]  
基于纠删码与HDFS的云文件系统.[D].陈宝纯.吉林大学.2012, 09
[2]  
面向数据密集型超级计算的基于纠删码的容错存储技术研究.[D].周松.国防科学技术大学.2010, 03
[3]  
Performance models and dynamic characteristics analysis for HDFS write and read operations: A systematic view.[J].Bo Dong;Qinghua Zheng;Feng Tian;Kuo-Ming Chao;Nick Godwin;Tian Ma;Haipeng Xu.The Journal of Systems & Software.2014,
[4]   大数据安全与隐私保护 [J].
冯登国 ;
张敏 ;
李昊 .
计算机学报, 2014, 37 (01) :246-258
[5]   Hadoop系统性能优化与功能增强综述 [J].
董新华 ;
李瑞轩 ;
周湾湾 ;
王聪 ;
薛正元 ;
廖东杰 .
计算机研究与发展, 2013, 50(S2) (S2) :1-15
[6]   一种改进的云存储系统容错机制 [J].
聂瑞华 ;
张科伦 ;
梁军 .
计算机应用研究, 2013, 30 (12) :3724-3728
[7]   基于GE码的HDFS优化方案 [J].
朱媛媛 ;
王晓京 .
计算机应用, 2013, 33 (03) :730-733
[8]   云数据管理系统中查询技术研究综述 [J].
史英杰 ;
孟小峰 .
计算机学报, 2013, 36 (02) :209-225
[9]  
A view on big data and its relation to Informetrics.[J].Ronald ROUSSEAU;.Chinese Journal of Library and Information Science.2012, 03
[10]   基于纠删码和动态副本策略的HDFS改进系统 [J].
李晓恺 ;
代翔 ;
李文杰 ;
崔喆 .
计算机应用, 2012, 32 (08) :2150-2153+2158