基于HDFS和IMPALA的碰撞比对分析

处理公共安全大数据需实现查询、全文检索、即时数据推送和内存计算等实时业务分析,而基于Hadoop生态系统建立的Hive不支持海量数据的实时查询,无法实现交互式查询和报表查询快速返回数据结果。针对Hive实时查询的不足,首次将Impala架构应用于公共安全数据处理上,结合Impala实时查询引擎的原理,分析了Map Reduce上Hive的实时查询缺陷,比较了Impala和Hive的实时性能,改进了Impala上运行CURE碰撞比对算法,实现了异地数据碰撞比对的分析与展现。本系统的方案在实战应用中取得了较好的效果,可为公安安全领域构建大规模数据处理与分析系统提供技术参考。