基于聚类分析的网络流量高斯混合模型

基于聚类算法对数据对象多个属性综合聚类的特点,研究网络流量的GMM模型及其在数据流尺度上的Log-normal分布。用EM算法研究了具有交互特征的网络流量的分类;通过与K-means算法比较,讨论了EM算法在流量聚类中的适用性;通过平衡和不平衡流量的聚类分析,研究了不同类型流量GMM建模的有效性。研究流量的幂律关系及其在不同尺度间的传递性,用户行为和应用程序特征通过传输层控制协议分解传递到IP层后,在数据包尺度上表现出分形和自相似性,在数据流尺度上表现出Log-normal分布。     

SMART: 基于数据流技术的电信网络流量监控系统

大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的Netflow V5或者V9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中Top-k频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7*24h运行。     

自相似网络流量预测研究

研究发现,网络流量自相似特性具有普遍性,且不随缓冲、交换、传输和延迟而改变,网络流量预测必须考虑这种自相似特性.本文从自相似网络流量的多个方面对现有研究成果进行了分析,从网络自相似的模型、参数估计、性能预测等多个方面对网络自相似流量预测研究进展进行了总结,并提出了一种基于测量的流量自相似等价带宽预测算法.分析表明:该算法能有效地减少计算量和降低实现复杂度.     

RealMon: 处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法,该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题,该系统集成了数据流清洗算法,该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明,该系统能够在SNMP数据流上同时对数千条链路进行有效监测。     

BP-神经网络算法在分布式VOD系统流量预测中的应用

在分布式VOD系统中,网络流量是一组非线性的、复杂的、难以预测的数据.而为了实现系统中数据流量的负载均衡,需要对网络流量进行准确预测.提出了基于BP-神经网络的预测算法,对网络流量进行分析、预测.研究结果表明,该方法具有一定的预测能力,基本接近于网络流量的真实数据.     

基于层次模型的kNN查询处理算法

针对当前基于二级网络模型的数据流k-最近邻(kNN)查询中网络流量大、查询结点负载重的问题,提出了一种新的网络模型,将二级网络模型扩展到更通用的层次网络模型。该模型改进了查询算法,在远程节点与查询节点间布置多个中间节点,以处理数据,降低网络数据传输量,减小查询结点的负载。理论分析和数值实验表明新算法能取得较好的结果。     

基于ARMA的并行入侵检测的负载均衡算法

并行网络入侵检测系统架构的提出很大程度上缓解了当前硬件处理能力不足和网络流量激增之间的矛盾,其充分发挥作用的关键在于如何高效稳定地将流量均匀地分配到各个检测引擎上.本文在深入分析负载均衡算法的各个实现要素基础上,基于经典时间序列模型ARMA对网络流量进行了预测,按照周期性预测负载信息的策略,设计实现了ABLB算法,在降低各个检测引擎反馈负担的同时其负载均衡能力、攻击证据保持、高效性和健壮性也得到了保证,在算法分析和实验中进行了讨论和验证.     

宽带多媒体卫星通信系统中的无线资源申请

系统分析了多媒体通信卫星网络MAC协议中的资源分配流程及资源申请时序关系,在此基础上,考虑卫星网络中的长延时环境,提出了一种基于流量预测的资源申请算法,以弥补现有算法严重滞后于流量变化的不足.该算法引入记录因子,对资源的申请与分配进行记录,以提高带宽的分配效率,减少带宽申请信令的数量,从而减少对网络资源申请的响应时间;将最小均方算法用于网络流量的预测,以削弱卫星链路长延时对网络资源申请造成的负面影响.仿真结果表明,该算法的性能大大优于现有的资源申请算法,在高负载度、长峰值传输时间的条件下,算法具有良好的适应性.     

基于数据流多维特征的移动流量识别方法研究

随着移动互联网的快速发展,移动设备的数量激增至历史新高.从大量混杂流量中识别出移动流量并对流量进行分析,是深入研究移动互联网特性的第一步,同时可以为移动网络测量与管理、移动安全和隐私保护提供有价值的信息.本文综合整理了网络流量识别的常见方法,提出了基于数据流多维统计特征的移动流量识别方法.该方法从硬件特征、操作系统指纹和用户使用习惯三个方面提取了数据流中具有代表性的特征并对特征进行分析,使用集成学习的方法生成识别模型.移动流量的识别准确率和主流的5种操作系统流量分类的准确率都达到了99%以上.本文方法比UAFs方法准确率提高了8%左右.本方法提取的特征具有多维性并且具有实际意义,整合了网络层和传输层的数据流特征,相较于使用深度数据包检测的方法,基于数据流多维特征的方法同样适用于加密流量的分类.     

重尾分布的网络流量SVM分类

网络流量表现出突发和自相似等动态特性,使得网络应用很难进行准确分类。本文分析了流量动态特性产生的不平衡性及其重尾分布,提出了基于重尾分布的流量分类定量分析模型。基于该分析模型,研究分类算法中训练集采集位置和规模大小的选取。考虑到混合流量中的次要数据流通常是小样本,选用支持向量机(SVM)算法进行流量分类。实验结果表明:重尾分布的流量分类训练集可以选择最佳采集位置和规模,以获得较好的分类模型,该定量分析模型对流量分类及提高分类精度有指导意义。     

基于超网络的多模式交通的随机网络加载问题

基于超网络理论构建了城市多模式出行网络模型,同时考虑路径出行时间、换乘次数以及拥挤等影响因素,建立路径的广义费用函数。在此基础之上,重新定义了有效路径的含义。结合图论中深度优先遍历算法与回溯法的思想,提出有效路径的搜索算法,并通过改进的Dial算法实现对城市多模式出行网络上交通流的随机网络加载。最后,利用本文建立的多模式出行网络对算法的可行性和有效性进行验证。结果表明,该算法适用于求解城市多模式出行网络上交通流的随机网络加载问题,并且可以避免原始Dial算法在求解交通分配问题中可能出现的不合理结果。     

基于定量递归特征提取的流量监测方法

提出一种基于定量递归特征提取的流量预测算法,构建了网络端到端路由缓冲区短时网络流量的时间序列分析模型.采用虚假最近邻点算法和平均互信息算法对网络流量时间序列进行相空间重构,计算递归图平面中时频特征点占平面总点数的百分比,实现网络流量的时频熵特征提取,有效反应流量时间序列的内部结构特征和变化趋势,实现对流量的准确预测和监测.仿真结果表明,采用该算法能准确实现对网络流量相轨迹的预测判断,预测过程具有较好的抗干扰能力,预测精度较高.     

运费有差异的多品种流交通网络最小费用算法

对运费有差异的多品种流交通网络进行了分析,构建了复合参数和复合指标,借鉴连续最短路算法和FordFulkerson算法,设计了运费有差异的多品种流最小费用算法,并通过算例证明了算法的可行性,为解决实际交通网络的相关问题提供了参考.     

基于掩码匹配的报文双抽样方法

基于掩码匹配的报文抽样算法是一种实用性较强的分布式流量抽样算法,但是该算法在测量报文到达时间间隔的分布这一重要网络流量特征时性能较差。首先根据误差理论分析了产生这一问题的原因,为了降低测量的系统误差,在原算法中引入了双抽样的改进方案。考虑到改进后的算法会给测量系统带来额外的负担,提出了增加了抽样掩码位数的解决办法,并且论证了其可行性。最后基于实际的网络流量数据进行了实验验证,结果表明：改进后的算法测得的报文到达时间间隔的分布符合真实的分布情况,并且对其它网络性能指标的测量精度影响较小。     

基于流时间影响域的网络流量异常检测

针对如何提高网络流量异常行为检测准确率的问题,提出基于网络流时间影响域(TID)的网络流量检测模型.通过分析正常和异常情况下流量网络模型平均度的变化,构建了基于复杂网络平均度指标的网络流量异常检测算法.实验结果表明,基于网络流时间影响域的流量网络模型能合理地描述网络流量间的依赖关系,具有良好的检测性能,同时该网络模型仅需时间戳、源IP、目的IP三维网络特征即可实现,检测方法适用于绝大多数网络类型,检测效率优于其他网络流量异常检测方法,具有较高的普适性.     

基于改进特征选择法的光纤网络流量异常监测研究

采用当前方法进行光纤网络流量异常监测过程中,特征选择法无法全面描述流量异常特征监测的不足,存在监测效果较差的问题。为此,提出一种基于改进特征选择法的异常流量监测方法。首先采用分光方式对光纤网络流量进行分析,获取光纤网络流量时间序列,并描述用于流量异常监测的多时间序列之间的相互关系,然后利用改进特征选择法对网络出口流量进行特征提取。利用聚类算法选择网络流量异常最优类数和聚类中心,来对网络流量异常现象进行过滤,从而实现网络异常流量特征抽取、特征选择改进算法和网络流量异常监测的研发,从而提高光纤网络流量异常现象监测的准确度。仿真实验结果证明,通过这种方法,能有效地对网络流量异常现象进行监测,且算法简单,能够满足网络流量异常监测的应用需求,实用价值较高。     

基于测量聚类的网络拓扑推断算法

为了减少基于端到端时延的拓扑推断算法中产生的测量流量,根据网络中端到端时延的特点,提出了一种测量聚类算法和两阶段拓扑推断算法.测量聚类算法在测量时首先粗略测量网络节点的端到端时延,根据时延对节点进行聚类,然后根据节点的聚类测量节点对的端到端时延并计算节点相关性,最后通过两阶段拓扑推断算法推断网络拓扑结构.理论证明了测量聚类算法能够有效减少测量产生的测量流量并通过NS2进行了仿真,仿真结果表明测量聚类算法和两阶段拓扑推断算法在有效减少测量流量的情况下能够正确地推断网络的拓扑结构.     

基于集成学习的交通流短时特性分析与神经网络预测方法

为揭示交通流的内在动态特性,利用分析法对交通流分形特性进行研究,表明该城市交通流序列具有长程相关性;为达到更精准的短期交通预测效果,同时提出一种基于思维进化算法(MEC)对神经网络最优初始参数的定向搜索,解决神经网络易陷入局部最优的问题;并用自适应增强算法(adaptive enhancement algorithm,Adaboost)对优化过的神经网络集成,弥补神经网络对新样本集的泛化性能差缺陷,在此基础上通过预测误差平方和倒数准则重新调整Adaboost算法对弱预测器权值分布,使每个预测器最大程度提高网络预测精度.验证结果表明,改进MEC-BP_Adaboost模型与BP模型相比,均方误差和平均绝对误差分别下降78.2％和46.4％,证明本文改进方法对交通流预测具有合理性,对不同的交通流状态具有较好的适应性.     

基于集成学习的P2P流量识别模型

将DTNB、OneR和BP神经网络算法集成用于P2P流量识别,构建了基于该集成学习算法的P2P流量识别模型。利用网络流量特征和机器学习中生成规则的集成分类算法将网络流量分为P2P流量和非P2P流量。所建立的P2P流量识别模型分为网络流量特征的获取、P2P流量特征选取以及建立流量分类模型三个步骤。采用十折交叉验证与测试集相结合的方法CTFCVWTS(combining T-fold cross validation with testing set)评估模型的合理性和提出方法的有效性。实验得出流量分类准确率平均为97.27%。结果表明,该模型具有较高的P2P流量识别准确率。     

基于网络层析成像技术的道路交通流预测算法

为了更有效地预测城市路网交通流量,本文提出了一种城市道路交通预测模型.该模型基于网络层析成像(Network Tomography, NT)技术建立生成树,采用期望最大 (Expectation Maximization, EM) 算法得到路网子网车流概率分布,再结合路网子网中流量守恒原则,对待预测路段流量进行推测.实验结果表明,该模型优于现常用的人工智能模型,对城市交通流量预测更为有效,且提高了预测精度.