基于双布鲁姆过滤器的数据排重技术

被引：8

作者：

席晔文

杨金民

机构：

[1] 湖南大学信息科学与工程学院

来源：

计算机工程与应用 | 2014年 / 23期

关键词：

重复数据删除; 集合元素查询; 布鲁姆过滤器; MD5; 假阳性误判率;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

摘要：

针对文件级单布鲁姆过滤器排重算法只能以文件为单位进行数据排重,数据块级单布鲁姆过滤器排重算法耗时过多的缺点,采用2个布鲁姆过滤器,创建文件级和数据块级2级数据排重的算法结构。实验结果表明,双布鲁姆过滤器排重算法可以以数据块为单位对数据排重,在保持低假阳性误判率的同时,相比数据块级单布鲁姆过滤器排重算法耗时缩短了43%68%。

引用

收藏

页码：198 / 202

页数：5

相关论文

共 12 条

[1]

重复数据删除关键技术研究进展 [J].

付印金 ;

肖侬 ;

刘芳 .

计算机研究与发展, 2012, (01) :12-20

[2]

基于重复数据删除的多用户文件备份系统 [J].

马建庭 ;

杨频 .

计算机工程与设计, 2011, 32 (11) :3586-3589+3617

[3]

重复数据删除技术 [J].

敖莉 ;

舒继武 ;

李明强 .

软件学报, 2010, 21 (05) :916-929

[4]

基于MD5算法的重复数据删除技术的研究与改进 [J].

廖海生 ;

赵跃龙 .

计算机测量与控制, 2010, 18 (03) :635-638

[5]

布鲁姆过滤器查询算法 [J].

谢鲲 ;

文吉刚 ;

张大方 ;

谢高岗 .

软件学报, 2009, 20 (01) :96-108

[6]

布鲁姆过滤器代数运算探讨 [J].

谢鲲 ;

张大方 ;

文吉刚 ;

谢高岗 ;

尤志强 .

电子学报, 2008, (05) :869-874

[7]

分档布鲁姆过滤器的查询算法 [J].

谢鲲 ;

闵应骅 ;

张大方 ;

谢高岗 ;

文吉刚 .

计算机学报, 2007, (04) :597-607

[8]

基于轨迹标签的无结构P2P副本一致性维护算法 [J].

谢鲲 ;

张大方 ;

谢高岗 ;

文吉刚 .

软件学报, 2007, (01) :105-116

[9]

拆分型Bloom Filter [J].

肖明忠 ;

代亚非 ;

李晓明 .

电子学报, 2004, (02) :241-245

[10]

Improving duplicate elimination in storage systems[J] Deepak R. Bobbarjung;Suresh Jagannathan;Cezary Dubnicki ACM Transactions on Storage (TOS) 2006,