基于NOSQL的微博图数据管理存储平台设计与实现

被引:3
作者
包从开 [1 ,2 ]
黄永峰 [1 ,2 ]
廖旺坚 [1 ,2 ]
余辉 [3 ]
机构
[1] 清华大学电子工程系信息认知与智能系统研究所
[2] 清华大学信息科学与技术国家实验室
[3] 中国科学院大学
关键词
NoSQL; 微博; 大图数据; 存储管理平台;
D O I
暂无
中图分类号
TP311.52 []; TP333 [存贮器];
学科分类号
140102 [集成电路设计与设计自动化];
摘要
近年来,以微博为代表的在线社交网络得到迅速普及和发展。这些规模庞大,内部关联复杂的图结构数据给传统数据库的存储管理带来了挑战。论文详细分析微博社交网络数据结构特点,结合上层应用需求对数据存储模型进行设计,实现了一套基于NoSQL的微博数据管理存储平台。该平台设计为RAW数据存储、图模型映射、NewSQL转换三层,较好地解决海量微博图数据存储的可扩展性和实时、易用性问题。通过实验对平台入库、查询性能进行了评估,验证了其在实际中的有效可行性。
引用
收藏
页码:1351 / 1356+1365 +1365
页数:7
相关论文
共 10 条
[1]
A RELATIONAL MODEL OF DATA FOR LARGE SHARED DATA BANKS [J].
CODD, EF .
COMMUNICATIONS OF THE ACM, 1970, 13 (06) :377-&
[2]
数据库集群系统的关键技术研究 [D]. 
龚卫华 .
华中科技大学,
2006
[3]
支持大数据管理的NoSQL系统研究综述 [J].
申德荣 ;
于戈 ;
王习特 ;
聂铁铮 ;
寇月 .
软件学报, 2013, 24 (08) :1786-1803
[4]
影响力扩散概率模型及其用于意见领袖发现研究 [J].
樊兴华 ;
赵静 ;
方滨兴 ;
李欲晓 .
计算机学报, 2013, 36 (02) :360-367
[5]
大数据管理:概念、技术与挑战 [J].
孟小峰 ;
慈祥 .
计算机研究与发展, 2013, (01) :146-169
[6]
数据管理技术的新格局 [J].
覃雄派 ;
王会举 ;
李芙蓉 ;
李翠平 ;
陈红 ;
周烜 ;
杜小勇 ;
王珊 .
软件学报, 2013, 24 (02) :175-197
[7]
基于认知度的用户好友社团关系挖掘方法 [J].
孟聪 ;
黄永峰 ;
应励志 .
计算机应用研究, 2012, 29 (08) :2833-2836
[8]
图数据挖掘技术的研究与进展 [J].
丁悦 ;
张阳 ;
李战怀 ;
王勇 .
计算机应用, 2012, 32 (01) :182-190
[9]
新浪微博数据挖掘方案 [J].
廉捷 ;
周欣 ;
曹伟 ;
刘云 .
清华大学学报(自然科学版), 2011, 51 (10) :1300-1305
[10]
列存储数据库关键技术综述 [J].
李超 ;
张明博 ;
邢春晓 ;
胡劲松 .
计算机科学, 2010, 37 (12) :1-7+17