云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略

被引：68

作者：

刘少伟 ^{[1
]}

孔令梅 ^{[2
]}

任开军 ^{[1
]}

宋君强 ^{[1
]}

邓科峰 ^{[1
]}

冷洪泽 ^{[1
]}

机构：

[1] 国防科学技术大学计算机学院

[2] 中国人民解放军部队

来源：

计算机学报 | 2011年 / 34卷 / 11期

关键词：

云计算; 科学工作流; 数据放置; 数据相关; 任务调度;

D O I：

暂无

中图分类号：

TP3 [计算技术、计算机技术]; TP274 [数据处理、数据处理系统];

学科分类号：

0812 ; 0804 ; 080401 ; 080402 ; 081002 ; 0835 ;

摘要：

云环境中跨数据中心科学工作流的高效执行通常面临数据交互量大的问题.文中给出基于相关度的两阶段高效数据放置策略和任务调度策略:即在工作流建立阶段根据数据依赖关系图把关系紧密型数据集尽可能放置到同一数据中心;而后任务调度策略在运行阶段将任务调度到数据依赖最大的数据中心执行,并将新产生数据集放置到相关度最高的数据中心.实验表明,该策略能有效减少跨数据中心科学工作流执行时的数据传输量,从而能有效提升科学工作流的执行效率,并能减少资源的租赁费用.

引用

页码：2121 / 2130

页数：10

共 5 条

[1] 云计算环境下面向数据密集型应用的数据布局策略与方法
郑湃
崔立真
王海洋
徐猛
[J]. 计算机学报, 2010, 33 (08) : 1472 - 1480
[2] Optimized QoS-aware replica placement heuristics and applications in astronomy data grid
Du, Zhihui
Hu, Jingkun
Chen, Yinong
Cheng, Zhili
Wang, Xiaoying
[J]. JOURNAL OF SYSTEMS AND SOFTWARE, 2011, 84 (07) : 1224 - 1232
[3] A data placement strategy in scientific cloud workflows
Yuan, Dong
Yang, Yun
Liu, Xiao
Chen, Jinjun
[J]. FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, 2010, 26 (08): : 1200 - 1214
[4] Computing in the clouds[J] . Aaron Weiss.netWorker . 2007 (4)
[5] Optimizing workflow data footprint
Singh, Gurmeet
Vahi, Karan
Ramakrishnan, Arun
Mehta, Gaurang
Deelman, Ewa
Zhao, Henan
Sakellariou, Rizos
Blackburn, Kent
Brown, Duncan
Fairhurst, Stephen
Meyers, David
Berriman, G. Bruce
Good, John
Katz, Daniel S.
[J]. SCIENTIFIC PROGRAMMING, 2007, 15 (04) : 249 - 268

← 1 →