分布式图处理系统技术综述

被引：12

作者：

王童童 ^{[1
,2
]}

荣垂田 ^{[3
]}

卢卫 ^{[1
,2
]}

杜小勇 ^{[1
,2
]}

机构：

[1] 数据工程与知识工程教育部重点实验室(中国人民大学)

[2] 中国人民大学信息学院

[3] 天津工业大学计算机科学与软件学院

来源：

软件学报 | 2018年 / 29卷 / 03期

关键词：

分布式图处理系统; 计算粒度; 任务调度; 通信方式; 负载划分;

D O I：

10.13328/j.cnki.jos.005450

中图分类号：

TP301.6 [算法理论]; TP333 [存贮器];

学科分类号：

081202 ; 081201 ;

摘要：

图作为一种基本的数据类型,是对现实世界中对象及其关联关系的一种抽象.现实中,许多科学问题都可以被模型化为图的问题,因此,对图数据进行分析非常重要.图数据分析在语义Web分析、社交网络、生物基因分析以及信息检索等领域有着广泛的应用.随着移动互联、物联网等信息技术的发展,图数据的规模处于持续增长的状态.为了能够应对大规模图数据的高效分析和计算,Google提出了Pregel分布式图处理框架.此后,学术界和工业界提出了许多基于Pregel框架的优化技术和系统实现.在充分调研和分析的基础上,首先总结出分布式图处理系统的3个优化目标;其次,从计算粒度、任务调度、通信方式、负载划分这4个维度,综述现有分布式图处理系统中的各类优化技术;最后,对该领域未来的研究内容和发展方向进行了探讨与展望.

引用

页码：569 / 586

页数：18

共 64 条

[51]

Fast failure recovery in distributed graph processing systems. Shen Y,Chen G,Jagadish H V,et al. Proceedings of the VLDB Endowment . 2014

[52]

Parallel incremental graph partitioning using linear programming. C. W. Ou,S. Randa. Proceeding of Supercomputing 94 . 1994

[53]

Balanced Label Propagation for Partitioning Massive Graphs. Ugander J,Backstrom L. . 2013

[54]

RPC:Remote procedure call protocol specification:Version 2. Srinivasan R. . 2009

[55]

Netty project. http://netty.io/ .

[56]

Apache Active MQ. http://activemq.apache.org/ .

[57]

Apache spark. http://spark.apache.org/ .

[58]

Towards highly scalable pregel-based graph processing platform with x10. Bao NT,Suzumura T. Proc.of the Int’’l Conf.on World Wide Web Companion . 2014

[59]

Chronos:A graph engine for temporal graph analysis. Han W,Miao Y,Li K,Chen E. Proc.of the 9th European Conf.on Computer Systems . 2014

[60]

Seraph:An efficient,low-cost system for concurrent graph processing. Xue J,Yang Z,Qu Z,Hou S,Dai Y. Proc.of the 23rd Int’’l Symp.on High-Performance Parallel and Distributed Computing . 2014

← 1 2 3 4 5 6 7 →