基于双抽样的测量流长度分布的算法研究

网络流量测量和分析对于网络管理、网络规划和网络安全应用等都有非常重要的作用。近年来随着网络带宽的高速发展,信息量快速增加,要测量网络中的全部数据流量变得越来越困难。如何快速准确地测量网络流量成为一个研究热点。 为了解决网络测量所面临的问题,人们提出了抽样测量技术,即抽样测量部分流量,然后从统计学角度估计原始流信息。抽样测量技术分为基于流的抽样和基于报文的抽样。基于流的抽样估计精度高,但是资源消耗量大;基于报文的抽样可扩展性好,但是估计精度低。 本文在分析基于流的抽样技术和基于报文的抽样技术的基础上,提出了双抽样方法。双抽样方法的抽样流需要经过两次抽样才能获得。首先进行流抽样得到一组抽样流,然后进行报文抽样,得到最终的抽样流。以网上采集的Traces进行抽样试验,经对比分析表明与单纯的报文抽样和流抽样相比,双抽样方法在系统资源消耗方面有很大优势,减少了抽样过程中所要维护的信息量。 为了解流量及所需资源情况,知道未抽样流的长度和数量是有意义的,本论文研究了如何由抽样报文流统计数据推断出所对应的未抽样流的统计数据的算法。抽样会造成信息的损失。首先,分析了双抽样方法中信息损失情况,第一步的流抽样导致了原始流数量的减少;第二阶段的报文抽样在第一阶段抽样流的基础上既有流数量的减少,也有流长度信息的损失。针对流抽样的估计,根据流被抽空的概率大小将流分为长流和短流,对于长流用比例法估计;对于短流用EM算法估计,得到了由第一阶段流抽样所得抽样流的流长分布。针对报文抽样的估计,用比例法在前一阶段估计得到的抽样流基础上,得到了原始流的流长分布情况。实验结果表明,由双抽样方法得到的抽样流能够有效地估计出原始流的分布。