HiBase:一种基于分层式索引的高效HBase查询技术与系统

被引：53

作者：

葛微 ^{[1
,2
]}

罗圣美 ^{[3
,4
]}

周文辉 ^{[1
,2
]}

赵頔 ^{[1
,2
]}

唐云 ^{[1
,2
]}

周娟 ^{[1
,2
]}

曲文武 ^{[3
]}

袁春风 ^{[1
,2
]}

黄宜华 ^{[1
,2
]}

机构：

[1] 南京大学计算机软件新技术国家重点实验室

[2] 江苏省软件新技术与产业化协同创新中心

[3] 中兴通讯股份有限公司

[4] 清华大学计算机科学与技术系

来源：

计算机学报 | 2016年 / 39卷 / 01期

关键词：

HBase; 非主键索引; 查询处理; 分层式索引; 缓存替换策略; 大数据;

D O I：

暂无

中图分类号：

TP311.13 [];

学科分类号：

1201 ;

摘要：

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用(LRU)算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍(大结果集)到3000多倍(小结果集);而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5～15倍,使得总体查询性能比标准HBase快300多倍(大结果集)到1.7万倍(小结果集),比开源的Hindex系统快5～20倍.

引用

页码：140 / 153

页数：14