基于释放和重构的科学工作流数据布局策略

被引：3

作者：

张甜甜

崔立真

机构：

[1] 山东大学计算机科学与技术学院

来源：

计算机研究与发展 | 2013年 / S2期

关键词：

科学工作流; 全局最优; 数据布局; 局部释放; 重构;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

科学工作流是典型的大数据应用,每个任务涉及的数据体量大,分布式环境下移动的网络代价高,良好的数据布局策略对于降低跨数据中心的传输代价、提高科学工作流运行效率至关重要.随着大数据时代来临,科学工作流计算任务涉及到的数据集和数据存储节点增多,使得求解数据布局最优方案变得更加困难.使用传统数据布局策略往往只能得到局部最优方案.为此,提出一种基于释放和重构的数据布局策略,使得在超大规模的解空间中尽快找到更加接近全局最优的数据布局方案.策略首先基于前期研究成果产生初始解,然后通过解的局部释放和重构,对解空间的不同邻域进行搜索,不断提高解的质量.通过实验验证并与传统方法比较,结果显示该数据布局方案数据传输代价更小,性能更好.

引用

页码：71 / 76

页数：6

共 11 条

[1] 云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略 [J].

刘少伟 ;

孔令梅 ;

任开军 ;

宋君强 ;

邓科峰 ;

冷洪泽 .

计算机学报, 2011, 34 (11) :2121-2130

[2] 科学工作流技术研究综述 [J].

张卫民 ;

刘灿灿 ;

骆志刚 .

国防科技大学学报, 2011, 33 (03) :56-65

[3] 云计算环境下面向数据密集型应用的数据布局策略与方法 [J].

郑湃 ;

崔立真 ;

王海洋 ;

徐猛 .

计算机学报, 2010, 33 (08) :1472-1480

[4] 面向科学工作流的应用集成框架 [J].

汪春杰 ;

曹健 .

计算机工程, 2009, 35 (20) :258-260+263

[5] 集成对象代理数据库的科学工作流服务框架中的数据跟踪 [J].

王黎维 ;

黄泽谦 ;

罗敏 ;

彭智勇 .

计算机学报, 2008, (05) :721-732

[6] A data placement strategy in scientific cloud workflows [J].

Yuan, Dong ;

Yang, Yun ;

Liu, Xiao ;

Chen, Jinjun .

FUTURE GENERATION COMPUTER SYSTEMS-THE INTERNATIONAL JOURNAL OF ESCIENCE, 2010, 26 (08) :1200-1214

[7] Programming scientific and distributed workflow with Triana services [J].

Churches, David ;

Gombas, Gabor ;

Harrison, Andrew ;

Maassen, Jason ;

Robinson, Craig ;

Shields, Matthew ;

Taylor, Ian ;

Wang, Ian .

CONCURRENCY AND COMPUTATION-PRACTICE & EXPERIENCE, 2006, 18 (10) :1021-1037

[8] Scientific workflow management and the Kepler system [J].

Ludascher, Bertram ;

Altintas, Ilkay ;

Berkley, Chad ;

Higgins, Dan ;

Jaeger, Efrat ;

Jones, Matthew ;

Lee, Edward A. ;

Tao, Jing ;

Zhao, Yang .

CONCURRENCY AND COMPUTATION-PRACTICE & EXPERIENCE, 2006, 18 (10) :1039-1065

[9]

Taverna: lessons in creating a workflow environment for the life sciences[J] . TomOinn,MarkGreenwood,MatthewAddis,M. NedimAlpdemir,JustinFerris,KevinGlover,CaroleGoble,AntoonGoderis,DuncanHull,DarrenMarvin,PeterLi,PhillipLord,Matthew R.Pocock,MartinSenger,RobertStevens,AnilWipat,ChrisWroe.Concurrency Computat.: Pract. Exper. . 2006 (10)

[10]

Pegasus: A framework for mapping complex scientific workflows onto distributed systems[J] . Ewa Deelman,Gurmeet Singh,Mei-Hui Su,James Blythe,Yolanda Gil,Carl Kesselman,Gaurang Mehta,Karan Vahi,G. Bruce Berriman,John Good,Anastasia Laity,Joseph C. Jacob,Daniel S. Katz.Scientific Programming . 2005 (3)

← 1 2 →