基于MapReduce并行架构的大数据社会网络社团挖掘方法

被引：9

作者：

邓波 ^{[1
]}

张玉超 ^{[1
]}

金松昌 ^{[2
]}

林旺群 ^{[1
]}

机构：

[1] 北京系统工程研究所

[2] 国防科学技术大学计算机学院

来源：

计算机研究与发展 | 2013年 / 50(S2)卷 / S2期

关键词：

大数据社会网络; MapReduce; 社团; 信息压缩; 随机游走;

D O I：

暂无

中图分类号：

TP301.6 [算法理论];

学科分类号：

摘要：

随着社会网络数据规模的急剧上升,传统的社会网络社团挖掘方法无法有效应对大数据社会网络场景.基于MapReduce并行计算框架,提出了一种针对大数据社会网络的社团挖掘方法.借助于信息压缩理论模型,该方法首先对给定的社会网络进行二进制信息编码,然后按照信息描述长度理论并行计算社会网络中给定编码方案的信息描述长度,从而将社会网络社团并行挖掘问题转化为并行搜索社会网络中最小信息描述长度所对应的编码方案问题.通过采用并行随机迭代方式搜索大数据社会网络编码状态空间中的最佳编码方案,提出的大数据社会网络社团挖据方法具有自动发现最佳社团数量、算法复杂度低、计算精度高和高可扩展性等特点.与同类方法进行实验对比,从算法的计算精度和计算性能两方面验证了所提方法的有效性.

引用

页码：187 / 195

页数：9

共 11 条

[1] 网络大数据:现状与展望 [J].