共 8 条
- [7] MapReduce[J] . Jeffrey Dean,Sanjay Ghemawat.Communications of the ACM . 2008 (1)
- [8] The Google file system[J] . Sanjay Ghemawat,Howard Gobioff,Shun-Tak Leung.ACM SIGOPS Operating Systems Review . 2003 (5)
基于大数据技术的网络日志分析系统研究
被引：39
作者：
任凯
[1
]
邓武
[2
]
俞琰
[3
]
机构：
[1] 南京大学金陵学院
[2] 大连交通大学软件学院
[3] 东南大学成贤学院
来源：
关键词：
大数据;
日志采集;
MapReduce;
日志分析;
IP统计;
D O I：
10.16652/j.issn.1004-373x.2016.02.011
中图分类号：
TP311.13 [];
TP393.08 [];
学科分类号：
1201 ;
0839 ;
1402 ;
摘要：
传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。
引用
收藏
页码：39 / 41+44
+44
页数：4
相关论文