ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究

被引：48

作者：

陈亚杰 ^{[1
]}

王锋 ^{[1
,2
]}

邓辉 ^{[1
]}

刘应波 ^{[1
]}

机构：

[1] 昆明理工大学云南省计算机技术应用重点实验室

[2] 中国科学院云南天文台

来源：

天文学报 | 2016年 / 57卷 / 02期

关键词：

方法; 数值; 解析; 天文数据库; 其他诸多方面;

D O I：

10.15940/j.cnki.0001-5245.2016.02.011

中图分类号：

P111 [天文仪器];

学科分类号：

070404 [天体测量学];

摘要：

天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于Elastic Search分布式搜索引擎,通过River机制对现有的海量FITS(Flexible Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求.

引用

页码：241 / 251

页数：11

共 5 条

[1]

Standardization of massive data from various telescopes at Xinglong Observatory.[J].Qin Lin;Xiaomeng Lu;Xiaojun Jiang.New Astronomy.2013,

[2]

How Will Astronomy Archives Survive the Data Tsunami? [J].