一种基于MongoDB和Hadoop的海量非结构化物联网数据处理方案

被引:13
作者
杨鹏 [1 ,2 ]
林俊晖 [1 ,3 ]
机构
[1] 重庆邮电大学通信与信息工程学院
[2] 中国信息通信研究院
[3] 重庆高校市级光通信与网络重点实验室
关键词
物联网; 大数据; NoSQL; Hadoop平台; MongoDB数据库;
D O I
10.19304/j.cnki.issn1000-7180.2018.04.014
中图分类号
TN929.5 [移动通信]; TP311.13 []; TP391.44 [];
学科分类号
080402 ; 080904 ; 0810 ; 081001 ; 1201 ; 0811 ; 081101 ; 081104 ; 1405 ;
摘要
随着物联网数据种类的增多和数据规模的增大,对物联网数据的存储和计算提出了新的挑战,为了应对海量非结构化物联网数据的存储和计算要求,提出了一种NoSQL数据库技术与MapReduce编程框架相结合的方案.使用典型的NoSQL数据库MongoDB作为主数据库来存储海量非结构化的物联网数据,使用Hadoop MapReduce作为对物联网数据分析处理的计算框架.通过对MongoDB集群和Hadoop集群的重叠部署,降低了计算时数据传输的开销,构建了一套高可用、高性能的物联网大数据处理平台.通过使用该方案对海量非结构化物联网数据的处理分析实验验证了该方案的高可用性及高效性.
引用
收藏
页码:68 / 72+78 +78
页数:6
相关论文
empty
未找到相关数据