基于Solr的数据检索技术研究

被引：7

作者：

程知群

章超

韩高帅

机构：

[1] 杭州电子科技大学电子信息学院

来源：

杭州电子科技大学学报(自然科学版) | 2017年 / 37卷 / 01期

关键词：

大数据; 智能交通; Solr; 索引;

D O I：

10.13954/j.cnki.hdu.2017.01.003

中图分类号：

TP391.3 [检索机];

学科分类号：

摘要：

针对海量过车数据检索困难的问题,设计了一款基于Solr的大规模分布式数据检索系统.前端IPC采集的数据经过结构化处理之后发送到后端,数据先缓存在消息队列中,再通过Spark Streaming实时计算框架对缓存的数据进行消费,将数据搬运到数据库HBase中,最后由Solr爬取HBase中的数据,根据用户的配置建立索引文件.查询时,用户通过点击Web界面下发查询条件,系统将查询条件解析为Solr能够识别的查询语句,从索引文件中取出相应的信息,最后从HBase中取出完整的数据,返回到界面显示.测试结果表明,系统工作稳定,可存储海量多种类型数据,索引建立速度为1 000条/s,当数据库中存储一千亿条过车记录时,对此类TB级别数据进行各种条件查询的响应时间均在10s之内.

引用

页码：11 / 15

页数：5