基于分布式文件系统HDFS的节能算法

被引：57

作者：

廖彬 ^{[1
,2
]}

于炯 ^{[1
,2
]}

张陶 ^{[2
]}

杨兴耀 ^{[2
]}

机构：

[1] 新疆大学软件学院

[2] 新疆大学信息科学与工程学院

来源：

计算机学报 | 2013年 / 36卷 / 05期

关键词：

云计算; 分布式文件系统; 节能计算; 副本策略; 绿色计算;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高.

引用

页码：1047 / 1064

页数：18

共 12 条

[1] 绿色网络和绿色评价:节能机制、模型和评价 [J].

林闯 ;

田源 ;

姚敏 .

计算机学报, 2011, 34 (04) :593-612

[2]

Dynamic energy efficient data placement and cluster reconfiguration algorithm for MapReduce framework[J] . Nitesh Maheshwari,Radheshyam Nanduri,Vasudeva Varma.Future Generation Computer Systems . 2011 (1)

[3]

Environment-conscious scheduling of HPC applications on distributed Cloud-oriented data centers[J] . Saurabh Kumar Garg,Chee Shin Yeo,Arun Anandasivam,Rajkumar Buyya.Journal of Parallel and Distributed Computing . 2010 (6)

[4] Energy-Efficient Algorithms [J].

Albers, Susanne .

COMMUNICATIONS OF THE ACM, 2010, 53 (05) :86-96

[5] On the energy (In)efficiency of Hadoop clusters [J].

Leverich J. ;

Kozyrakis C. .

Operating Systems Review (ACM), 2010, 44 (01) :61-65

[6]

Resource pool management: Reactive versus proactive or let’s be friends[J] . Daniel Gmach,Jerry Rolia,Ludmila Cherkasova,Alfons Kemper.Computer Networks . 2009 (17)

[7]

PowerNap[J] . David Meisner,Brian T. Gold,Thomas F. Wenisch.ACM SIGPLAN Notices . 2009 (3)

[8] Power and performance management of virtualized computing environments via lookahead control [J].

Kusic, Dara ;

Kephart, Jeffrey O. ;

Hanson, James E. ;

Kandasamy, Nagarajan ;

Jiang, Guofei .

CLUSTER COMPUTING-THE JOURNAL OF NETWORKS SOFTWARE TOOLS AND APPLICATIONS, 2009, 12 (01) :1-15

[9] Managing battery lifetime with energy-aware adaptation [J].

Flinn, J ;

Satyanarayanan, M .

ACM TRANSACTIONS ON COMPUTER SYSTEMS, 2004, 22 (02) :137-179

[10]

Improving dynamic voltage scaling algorithms with PACE[J] . Jacob R. Lorch,Alan Jay Smith.ACM SIGMETRICS Performance Evaluation Review . 2001 (1)

← 1 2 →