网络流量抽样测量技术综述

随着高速网络技术的发展,使得实时在线的流测量非常困难,基于抽样的流量测量方法作为一种可扩展的技术已经成为人们经常采用的一种有效的流测量技术。本文简要介绍了抽样测量的基本理论,对当前抽样测量技术的研究现状进行了综述,并对该技术的可能发展趋势做了简要的探讨。     

基于CBF流抽样的网络安全

现有网络中常存在DDOS、恶意端口及IP扫描、蠕虫等异常产生大量的只包含1个数据包的流量.针对高速网络流量特点及网络异常导致的流量突然上升,提出了一种改进的基于CBF的流抽样算法.该算法对定长时间内到达的数据包进行固定数量的抽样,使抽样率能适应于流量变化,并可控制资源的消耗,尤其当泛洪攻击、DDOS攻击等导致大规模异常网络流量出现时,能有效保护路由器的处理器和内存资源以及传输流记录所需的带宽资源,同时又不失简单性和准确性.     

基于BF的单向网络性能抽样测量技术

针对在进行网络单向性能测量时,存在抽样效率不高和报文标识均匀性差等问题,提出了一种基于BF(Bloom Filter)的单向网络性能抽样测量框架及算法,解决了在不同测量点对上从大量背景流量条件下的抽样有效性和报文标识有效性问题.仿真性能表明,待测报文抽样效率与BF理论分析值偏差为0.5%,且报文标识冲突比例仅为3.5%左右,软件实现抽样时间开销为O.1μs量级;该抽样测量技术十分适合于从大量背景流量中快速抽样出少量待测报文,从而有效地测量出诸如单向传输时延、时延抖动及单向报文丢失率等重要网络性能参数.     

基于掩码匹配的报文双抽样方法

基于掩码匹配的报文抽样算法是一种实用性较强的分布式流量抽样算法,但是该算法在测量报文到达时间间隔的分布这一重要网络流量特征时性能较差。首先根据误差理论分析了产生这一问题的原因,为了降低测量的系统误差,在原算法中引入了双抽样的改进方案。考虑到改进后的算法会给测量系统带来额外的负担,提出了增加了抽样掩码位数的解决办法,并且论证了其可行性。最后基于实际的网络流量数据进行了实验验证,结果表明：改进后的算法测得的报文到达时间间隔的分布符合真实的分布情况,并且对其它网络性能指标的测量精度影响较小。     

基于分层抽样的高速网络吞吐率测量

在测量精度要求较高时,随机抽样流量测量的样本容量仍然很大,仍会造成一定程度的资源负担和测量开销上的问题.针对前面这种简单抽样策略的局限性,提出了一种基于报文分层抽样的高速网络吞吐率测量技术,并对分层抽样参数的选取及其理论进行了探讨;从网络吞吐率测量的角度对分层抽样与简单随机抽样的测量性能进行比较.结果表明,在相同样本容量的情况下,分层抽样测量精度几乎平均是简单随机抽样精度的9倍,且算法复杂度仅为O(n),有效解决了高速网络测量环境中测量效益不高的问题.这种基于分层抽样的测量技术还可以用于其他网络流量参数的测量.     

网络流量测量与CERNET流量监控系统的设计及实现

基于TCP/IP网络的SNMP管理协议,分析了网络流量测量的意义、方法和主要测量技术;针对大型骨干网流量监控和显示的需求,设计完成了CERNET动态流量监控系统,实现了网络流量数据获取,流量分析、实时监控和大屏幕显示播出的功能.     

一种自适应的网络监测方法

为了有效地监测网络可用性和网络性能,解决当前监测系统在监测网络可用性和网络性能时无法兼顾网络可用性监测精度与网络附加流量的问题,提出了一种根据网络状况自适应监测网络可用性和网络性能的方法.自适应监测方法能够较好地兼顾网络可用性监测精度和网络附加流量,并在监测中加入了故障定位技术.数学分析表明,自适应的方法能减少监测产生的附加流量,尤其当网络规模较大时自适应的方法更为优越.实际测试结果表明,自适应的方法在减少附加流量的同时,能够监测网络可用性的准确度,较好地监测网络性能,并能定位网络故障.     

网络流量测量与CERNET流量监控系统的设计及实现

基于TCP/IP网络的SNMP管理协议,分析了网络流量测量的意义、方法和主要测量技术;针对大型骨干网流量监控和显示的需求,设计完成了CERNET动态流量监控系统,实现了网络流量数据获取,流量分析、实时监控和大屏幕显示播出的功能.     

高速网络分布式抽样中的统计随机性分析

针对当前分布式抽样方法不能较好地解决抽取样本的随机性和估计无偏性的问题,采取对被抽样的数据包头中没有实际意义的Flag预留位做标记的方法,以保证各测量点抽取样本的一致性;在入口点处采取泊松抽样保证样本的随机性和估计无偏性.理论推导和实验验证均表明:所提方法实现简单、准确性高,抽取样本能较为准确地估计出流量总体特征,并且部署灵活,适合于工程应用.     

用于整体光照的最小方差抽样

蒙特卡罗随机抽样算法合成的图像往往带有噪声,为了减少图像的噪声,提出了一种新的图像平面自适应抽样方法.直接光照抽样和间接光照抽样的方差及耗时有很大的差异,有必要自适应分配这两种抽样的数目.每个像素每种光照的抽样数目由直接光照和间接光照的方差和耗时来决定,根据拉格朗日乘子法将直接和间接光照的抽样自适应地分配到图像平面中,使得在给定的时间里图像的方差接近最小值.根据实验结果,与已有方法相比,新方法渲染的图像的方差降低了11.5%～56.9%.     

基于IXA架构的流量测量系统设计

网络流量测量技术是网络监测和管理研究的重要前提和保证. 在分析网络处理器、网络流量采集等技术的基础上,介绍流量测量系统在Intel IXA架构上的一种设计和实现. 系统的数据采样机制和数据编码格式遵守sFlow系统标准. 最后对IXP2400上实现该系统时微引擎等资源的分配作了分析,通过并行架构优化了包处理性能.     

面向边缘计算的物联网网络流量测量方法

在物联网中,边缘计算能够提供物联网计算的实时性,减少网络中数据的传输量.为了适应物联网技术的发展,研究了采用软件定义网络(SDN,software defined networking)架构的物联网网络,并利用SDN提供的方法对网络中的流量进行测量.细粒度流量测量可以更准确地描述网络中的流量,但同时也需要消耗大量的测量开销.为了减少测量过程中产生的开销并获得近似的细粒度测量,提出了一种面向边缘计算的物联网网络流量测量方案.新测量架构采用粗粒度测量和插值优化等方法进行测量.首先,在文中采用随机抽样方法通过OpenFlow协议快速获得粗粒度的网络流量测量.接着,对粗粒度的网络流量进行插值恢复,并利用多约束的优化方法对插值结果进行优化,直到找到满足条件约束的最优细粒度流量测量结果.最后,文中通过实验验证了所提出的测量方法的可行性和有效性.     

大型局域网干线流量的可预测性分析

用一种新的算法 ,在校园网的环境下对局域网干线流量的可预测性进行了全面的分析后得出结论 :在时间粒度较细的情况下网络流量的可预测性较好 ,而在 10min以上时间粒度下网络流量基本不具备可预测性 .对分析结果给出简单的理论上的解释     

GSM-R场强测试方法研究

场强测试是评价与衡量高速铁路GSM-R系统网络覆盖状况的主要手段,是无线通信网建设中重要内容之一,贯穿于网络建设的各个阶段.本文从GSM-R无线信号的传播特性出发,以Lee氏定理的研究方法为基础,探讨目前场强测试理论与实践之间存在差距的原因,从理论和实践对我国铁道部规定的4cm标准采样间隔进行了推导和验证.     

网络控制系统的变采样周期调度算法

综合考虑网络控制系统的误差、误差变化率、网络利用率及采样周期对系统性能的影响,设计了一种基于模糊反馈的变采样周期调度算法.该算法由网络利用率预测和采样周期调节两部分组成:网络利用率预测部分根据当前网络运行状况预测新的网络利用率;采样周期调节部分包含网络利用率分配和采样周期的计算.采样周期调节部分的网络利用率分配,用于重新分配各控制回路的网络利用率,分配时考虑系统各回路的误差和误差变化率,利用模糊控制理论调整各回路对网络的需求程度,完成分配;而采样周期计算是根据所得的网络利用率及数据的传输时间,动态调节系统各回路的采样周期.最后,结合EDF调度算法利用TrueTime工具箱对所研究的调度算法进行了仿真,结果表明采用本文所研究的变采样周期调度算法的控制系统性能要优于采用固定采样周期调度算法的控制系统性能.     

网络流量测量技术分析

网络流量测量技术是用于分析网络状况、掌握流量特性的有效方法．首先分析了在进行网络流量测量时需要主要考虑的端点、方向、时间粒度和协议层次四个因素，然后重点对已有的网络流量测量技术进行分类和总结．     

一种用于异常检测的网络流量抽样方法

为了减小抽样数据对网络异常检测的影响,提出了一种新的可变抽样率的网络流量抽样方法.通过利用哈希模式匹配算法,将到达的数据报文按流标识分类并记录下该报文在流中的位置,然后根据报文所属流的位置顺序减函数来设置不同的报文抽样概率.实验结果表明,所提方法增加了短流报文的抽样概率,解决了由于随机报文抽样方法偏向于长流抽样而导致的网络异常丢弃的问题,从而提高了异常检测的正确性.     

基于NetFlow网络流量分析的研究及应用

在分析NetFlow交换及其特点的基础上设计了一个具体的网络流量分析模型 .它的主要特点是提供了数据输出网关和计费接口 ,易于扩展 .该模型重点讨论了数据采集点的选择和采样间隔等关键参数的设置方法