基于BF的单向网络性能抽样测量技术

针对在进行网络单向性能测量时,存在抽样效率不高和报文标识均匀性差等问题,提出了一种基于BF(Bloom Filter)的单向网络性能抽样测量框架及算法,解决了在不同测量点对上从大量背景流量条件下的抽样有效性和报文标识有效性问题.仿真性能表明,待测报文抽样效率与BF理论分析值偏差为0.5%,且报文标识冲突比例仅为3.5%左右,软件实现抽样时间开销为O.1μs量级;该抽样测量技术十分适合于从大量背景流量中快速抽样出少量待测报文,从而有效地测量出诸如单向传输时延、时延抖动及单向报文丢失率等重要网络性能参数.     

网络流量抽样测量技术综述

随着高速网络技术的发展,使得实时在线的流测量非常困难,基于抽样的流量测量方法作为一种可扩展的技术已经成为人们经常采用的一种有效的流测量技术。本文简要介绍了抽样测量的基本理论,对当前抽样测量技术的研究现状进行了综述,并对该技术的可能发展趋势做了简要的探讨。     

Bloom Filter和Weighted Bloom Filter的比较与研究

Bloom filter是一个简单的空间效率极高的数据结构,用于判别一个元素是否属于某个集合.Weighted Bloom filter和Bloom filter已经被建议作为共享Web cache信息的一种方式.利用Bloom filter表示共享信息的内容,大大降低了用于存储索引的空间消耗,减少了访问延迟.因为在代理之间只需传输Bloom filter而不是完整的cache目录表.分别从理论和实践方面比较了Bloom filter和Weighted Bloom filter,结果证明Bloom filter比Weighted Bloom filter更好.     

面向软件定义网络的流表优化方案

针对目前软件定义网络中细粒度的流匹配机制造成的网络流表项空间开销和查询开销爆炸式增长等问题,提出了一种全新的基于布隆过滤器(Bloom Filter)的多级流表结构。该结构为混合流表结构,采用Bloom Filter多级流表结构来存储流表项,主要着眼于提高软件定义网络(SDN)交换机流表的容量和加快流表项的匹配速度;在流表项语义层面,设计并实现了控制器与SDN交换机之间的中间适配层模块来解决语义冲突问题。基于真实流量的实验结果表明,在规则占用空间上,与传统流表相比,Bloom Filter在流表越精细的情况下优化比率越高,最高可达90.7%。随着流表项规则的增加,匹配耗时优化效率提高,匹配时间最多可减少99.4%。该问题的解决可望为SDN网络的大规模实用化部署奠定数据层面的基础。     

一种测量流长度分布的近似方法

为提高测量精度并减少所需资源,提出一种近似的测量流长度分布的方法.通过分析产生一个定长原始流的概率分布,并考虑流的重尾特性对其产生的影响,给出了近似测量流长度分布的测量模型.理论分析和实验结果均表明,该方法在使用抽样技术条件下,可以准确对流长度分布作出统计,满足实际测量需要.     

一种用于异常检测的网络流量抽样方法

为了减小抽样数据对网络异常检测的影响,提出了一种新的可变抽样率的网络流量抽样方法.通过利用哈希模式匹配算法,将到达的数据报文按流标识分类并记录下该报文在流中的位置,然后根据报文所属流的位置顺序减函数来设置不同的报文抽样概率.实验结果表明,所提方法增加了短流报文的抽样概率,解决了由于随机报文抽样方法偏向于长流抽样而导致的网络异常丢弃的问题,从而提高了异常检测的正确性.     

基于TCBF算法的TCP流长度分布统计

为提高流测量系统的运行效率,减少其所需资源的消耗,在分析了TCP连接的释放以发送FIN报文或RST报文作为结束标志的基础上,提出一种新的报文过滤算法TCBF(time-outcounting bloom filter),用于统计TCP流长度分布.通过对有结束标志的流、没有结束标志的中长流和没有结束标志的中短流分别采用不同的统计处理方式,增加了网络测量性能,提高了测量系统的资源利用率.该算法不需要收集所有报文,而是只需要抽样少量报文即可对流长度做出统计.理论分析和仿真结果表明,TCBF算法在使用较少的存储空间的条件下,可以及时准确地对TCP流长度分布做出统计,满足实际测量需要.     

基于最小二乘法的流长度分布估计方法

为了得到未抽样流的分布特征,提出一种新的由抽样报文流数据来估计原始未抽样流长度分布的方法.首先分析了产生一个定长抽样流的原始流的概率分布模型,并根据这个概率分布特征给出了长流一个非常简单的估计.然后构造了关于短流的方程组,利用流的重尾分布特性和最小二乘法对该方程组进行求解,得到了短流的估计.理论分析表明该估计方法有效地控制了时间复杂程度,实验测试结果也表明该算法对于分布的估计是精确的,估计精度与EM算法相当.     

基于两层自适应超时策略的资源可控流抽样

NetFlow是流量测量中广泛使用的技术,但其采用固定的抽样率,在流量较大时消耗过多的系统资源,而在流量较小时造成资源利用不足,且在实际应用中缺乏一定的资源保护机制。为解决其缺陷,提出一种基于两层自适应超时策略的资源可控流抽样测量方法。该方法首先根据时间进行分层,对定长单位时间内的报文进行固定数量的随机抽样,并对其进行流统计,最后用两层自适应超时策略控制流的输出。理论分析和实验表明,该抽样方法不仅具有准确性、简单性和资源可控性,而且从很大程度上提高了"流cache"的利用率。     

基于IPv6的分布式实时网络测量系统设计

针对当前许多网络测量系统无法进行实时网络流量监测以及无法支持下一代互联网协议IPv6等不足,提出了一种基于IPv6的比特模式流定义方法和数据结构实时网络测量系统.系统通过在IPv6扩展首部中承载测量信息实现精确流测量,减少了测量开销,提高了测量效率.比特模式流定义方法提供了一种灵活的按需流定义方式,使系统能在IPv4/IPv6环境下实现流测量工作.实验证明,整个系统运行正常、效果良好.     

一种基于bot优先抽样的P2P botnet 在线检测技术

僵尸网络利用高效灵活的一对多控制机制,为攻击者提供了储备、管理和使用网络攻击能力的基础架构和平台,已成为当前Internet最严重且持续增长的安全威胁之一。为满足在高速网络实时检测P2P僵尸网络的需求,提出了一种基于bot优先抽样的在线检测技术。该方法利用bot优先的分级算法和基于优先级的包抽样算法,使得检测系统能够高效利用计算资源,在整体抽样率有限条件下,优先对疑似P2P僵尸通信数据包进行抽样,并使用流信息重构技术和流簇分析技术对抽样包进行统计分析来发现P2P僵尸主机。实验结果表明,所提出的在线检测技术能够有效提高对疑似P2P僵尸网络流量亚群的包抽样率,具有良好的在线检测效率和P2P僵尸检测命中率。     

随机分组抽样下流大小的分布估计

为提高流大小分布估计的精度,比较了运用TCP流的SYN包和TCP序列号信息的几种极大似然估计(MLE)算法.结果表明,运用TCP流中的SYN包和SEQ信息对流大小的分布估计比单纯的抽样估计具有更高的准确性,其中在样本流中同时运用SYN包和SEQ信息的估计效果最佳.在此基础上结合实际提出了一种对小流采取细粒度、对大流采取粗粒度的流大小非均匀粒度分布估计算法,并以实例验证了该方法的适用性.结果表明,该方法在减少算法计算量的情况下,提高了对大流的估计精度.     

网络流量测量的自适应抽样方法研究

由于高速网络技术的发展,直接对网络流量进行全分组测量相当困难,为了解决这一问题,流量抽样测量研究已经成为高速网络环境下进行流量测量的一个热点.在对目前的抽样测量技术研究的基础上,分析了一种自适应抽样测量技术.结果表明:该方法能充分利用现有资源提高抽样测量的准确性,为研究其他的自适应抽样方法提供一定的参考.     

超声多信号融合表征颗粒两相流实验研究

从颗粒两相流超声波动理论出发,提出多信号融合概念,采用单次和多次反射法同时测量颗粒两相流中高频宽带超声波声阻抗、声速和声衰减谱,获取了颗粒两相流系统中密度、浓度、粒径信息.基于该理论研制了可用于同时测量高浓度颗粒两相流密度、浓度、粒径的装置.高浓度水煤浆颗粒两相流测量结果显示,测量密度、浓度与平均粒径与标准对比较为吻合.     

命名数据网络中基于多级计数Bloom过滤器的名字查找方法研究

针对目前NDN中大多数基于Bloom过滤器的名字查找方法仅考虑速率而忽略冲突概率的局限,提出了一种考虑名字冲突概率并基于多级计数Bloom过滤器的名字查找方法.该方法的实验结果表明:相对于目前广泛研究的计数Bloom过滤器、哈希函数和d-left计数Bloom过滤器,所提方法能有效降低冲突概率.     

基于MGCBF算法的长流信息统计

为提高流测量系统的运行效率,减小其所需存储资源,在分析网络中流长分布特性的基础上,提出一种新的用于测量长流数量并维护其流信息的算法———多粒度计数bloom filter(MGCBF).利用较少的固定存储空间,MGCBF可以在保持较小误差比例的情况下,对所有到达的流基于报文计数.在MGCBF算法的基础上以指定报文数为阈值建立了一个长流信息统计模型,并对该模型所需的存储空间、计算复杂度和计算误差进行了分析和讨论.通过将其分别应用于来自不同网络的TRACE:CERNET和CESCAI,验证了该算法在保证测量精度的同时可以大幅度减小维护流信息所需的系统资源.     

半导体中纯自旋流的探测

自旋电子学是利用电子的自旋而非电子的电荷作为信息载体而发展的物理和电子器件研究的分支领域.半导体中自旋流的测量在自旋电子学中起关键作用.本文从自旋流的基本性质出发,简要回顾了目前国际上探测自旋流的实验手段,以及作者最近提出的有关自旋流的光学效应和以此直接测量半导体中纯自旋流的理论.     

高温气冷堆包覆颗粒燃料微球抽样研究

对ＵＯ２核芯或燃料包覆颗粒进行性能检验时，必须先抽样。本文研究了不同抽样方法对尺寸测量结果的影响，分析了抽样引起的平均值的偏差，抽样引起的组成成分的偏差。探讨了样本大小与测量标准偏差波动的关系。结论认为：抽样必须用取样器（旋转格槽取样器），抽样对尺寸测量的平均值及标准偏差的影响，主要由样本大小决定。     

多路平衡型矩阵Bloom Filter

海量数据的高效表示和查找成为目前存储系统面临的重要挑战.针对存储系统中大规模动态数据集的表示和查找效率问题,提出一种多路平衡型矩阵Bloom Filter结构(M-BMBF)及其插入和查询算法.M-BMBF根据数据集合大小建立一个r×m矩阵型Bloom Filter,设计多个定位哈希函数将该矩阵Bloom Filter分为多组(多路)以实现平衡插入和高效查询操作.为减缓Bloom Filter中比特的消耗速度,使用一种"最长位匹配"填充算法,新元素的插入将从多路备选Bloom Filter中选择新置为1比特个数最少的Bloom Filter中进行.实验结果表明,相较典型拆分Bloom Filter,M-BMBF能在维持算法消耗时间为常量的基础上,有效节省存储空间,降低误判率.     

基于HSI彩色空间的加权中值滤波算法

提出一种基于HSI彩色空间的加权中值滤波算法,该算法依据人眼对颜色的感知特性,结合颜色的亮度信息和色度信息,并且保持了DDF（The Directional-Distance Filters）滤波器的优点。算法根据彩色图像中颜色的亮度来修改亮度和色度的权值,调整滤波器的输出,在保持图像颜色细节方面比以往的各种矢量中值滤波算法都有一定的提高,更加符合人眼对于颜色的感知特点。