基于sFlow的网络链路流量采集与分析

随着网络规模的不断扩大,业务需求的不断增加,大中型企业、电信运营商的网络系统越来越复杂,这就要求网络管理能够从不同的角度划分网络资源对象,然后对每个网络资源对象进行多层面、多维度的实时监测,使网管人员能够及时、准确了解到整个网络运行的深层次信息,迅速找到严重影响网络效率的根源,从而大大提高网络运行的可用性和效率。 虽然也有部分企业安装了各种不同功能的网管系统,但是对于网络链路的管理只是能够反映网络的拓朴状态和关键链路的基本运行状况(如是否正常、端口带宽总的使用率等基本参数)。网络管理部门在网络运行中很难了解网络链路上各种应用的真实运行情况和质量;很难解决网络效率低下和不稳定的问题;很难实时地监测到链路的各个层面的细节和发现网络链路故障,从而导致网络运行管理和维护处于一种被动、不可控的状态。 本文从网络链路的角度划分网络系统。讨论如何全面准确地采集链路流量数据;如何对链路流量数据进行汇总和统计分析,提供网络链路实时性能分析报告和历史性能分析报告,让网管人员及时了解网络链路上各种应用的真实情况,找出影响网络效率低下、不稳定的问题和重大的网络故障的根源。本文结合武汉某公司开发的网络性能管理系统的实际需求,设计并实现了网络链路流量的采集与分析子系统。论文的主要工作以及创新如下: 1.对基于SNMP、RMON、NetFlow等网路管理协议的特点进行了比较和分析,详细论述了sFlow流量采集机制,以消息队列为缓存机制、利用多进程,实现了链路上流量数据实时、准确的采集,将采集的海量数据信息高效存储于Berkeley DB中,针对sFlow V5,设计并实现了链路流量采集与存储架构。 2.结合海量数据实时汇总统计的实际需求,分析了二叉排序树和哈希表在排序算法中的不足,运用JudyArray数组和Hash表以及快速排序算法,解决了在规定时间内海量网络监控信息的存储问题,设计并实现了对网络链路数据进行实时挖掘的模块。 3.利用开源框架Struts+Spring+Hibernate,实现了链路流量的可视化。提供了链路的流量分析结果的web页面形式展现。