基于可用性度量的分布式文件系统节点失效恢复算法

被引：8

作者：

廖彬 ^{[1
,2
]}

于炯 ^{[1
]}

钱育蓉 ^{[1
]}

杨兴耀 ^{[2
]}

机构：

[1] 新疆大学软件学院

[2] 新疆大学信息科学与工程学院

来源：

计算机科学 | 2013年 / 40卷 / 01期

关键词：

云计算; 分布式文件系统; 失效恢复; 可用性度量;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

现有分布式文件系统中处理节点失效时采用的恢复策略耗费较多的带宽与磁盘空间资源,且影响系统的稳定性。通过研究分布式文件系统HDFS集群结构、数据块存储机制、节点与数据块状态之间的关系,定义了集群节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵为度量数据块可用性建立了基础数据模型。在实现数据块可用性度量基础上,设计了基于可用性度量的节点失效恢复算法并分析了算法的性能。实验结果表明:新算法在保证系统中所有数据块可用性的前提下比原恢复策略减少了恢复所需带宽与磁盘资源,缩短了节点恢复时间,提高了系统稳定性。

引用

页码：144 / 149

页数：6

共 5 条

[1]

Dynamic energy efficient data placement and cluster reconfiguration algorithm for MapReduce framework[J] . Nitesh Maheshwari,Radheshyam Nanduri,Vasudeva Varma.Future Generation Computer Systems . 2011 (1)

[2] On the energy (In)efficiency of Hadoop clusters [J].

Leverich J. ;

Kozyrakis C. .

Operating Systems Review (ACM), 2010, 44 (01) :61-65

[3]

RAID: high-performance, reliable secondary storage[J] . Peter M. Chen,Edward K. Lee,Garth A. Gibson,Randy H. Katz,David A. Patterson.ACM Computing Surveys (CSUR) . 1994 (2)

[4]

Tolerating Multiple Failures in RAID Archi-tectures with Optimal Storage and Uniform Declustering .2 Alvarez G A,Burkhard W A,Cristian F. Proceedings of the 24th Annual International Symposium on Computer Architecture (ISCA‘97) . 1997

[5]

GreenHDFS:Towards an ener-gy-conserving storage-efficient,hybrid hadoop compute clus-ter .2 Kaushik R,Bhandarkar M. Proceedings of the USENIX Workshop on Power AwareComputing and Systems (HotPower’’10) . 2010

← 1 →