OnFlyP:基于定向边交换的分布式在线大图划分算法

被引:14
作者
王志刚
谷峪
鲍玉斌
于戈
机构
[1] 东北大学信息科学与工程学院
关键词
在线大图划分; 边交换; 实时控制; 最小对称矩阵;
D O I
暂无
中图分类号
TP311.13 [];
学科分类号
摘要
随着大数据时代的到来,基于云环境的大图迭代计算已经成为新的研究热点,其中提高图划分算法的执行效率和降低划分后子图之间的通信边规模是改善计算性能的关键.已有工作主要分为离线划分和在线划分两大类,无法在执行效率和通信边规模方面同时满足迭代处理需求.文中针对真实世界的大图,提出了聚簇系数概念,定量分析了顶点分布的局部性,以此为基础设计了一种基于定向边交换模型的分布式在线图划分算法(OnFlyP),可在迭代计算的数据加载阶段快速完成图划分,同时通过出边的交换有效降低通信边规模,以满足迭代计算需求.OnFlyP采用实时控制和最小对称矩阵控制实现负载均衡,前者具有较高的执行效率,而后者对降低通信边规模有较好的优化效果,可根据实际应用的处理需求灵活选择.最后,作者使用多种真实数据验证了OnFlyP算法的有效性.
引用
收藏
页码:1838 / 1851
页数:14
相关论文
共 6 条
[1]
PT-S cotch : A tool for efficient parallel graph ordering.[J].C. Chevalier;F. Pellegrini.Parallel Computing.2007, 6
[2]
A parallel algorithm for multilevel graph partitioning and sparse matrix ordering [J].
Karypis, G ;
Kumar, V .
JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, 1998, 48 (01) :71-95
[3]
在线社交网络影响力分析 [J].
吴信东 ;
李毅 ;
李磊 .
计算机学报, 2014, 37 (04) :735-752
[4]
基于消息传递机制的MapReduce图算法研究 [J].
潘巍 ;
李战怀 ;
伍赛 ;
陈群 .
计算机学报, 2011, 34 (10) :1768-1784
[5]
云计算环境下的大规模图数据处理技术 [J].
于戈 ;
谷峪 ;
鲍玉斌 ;
王志刚 .
计算机学报, 2011, 34 (10) :1753-1767
[6]
一种高效频繁子图挖掘算法 [J].
李先通 ;
李建中 ;
高宏 .
软件学报, 2007, (10) :2469-2480