一个网络流量监测与预测系统的设计与实现

提出一种网络流量采集及存储方案, 解决了大型网络流量监测的海量数据存储难题; 将流量预测引入网络管理系统, 实现了基于ARMA模型的网络流量预测. 给出了流量数据获取方法, 采用一种“整点平均”流量速率计算方法以提高准确度; 对几种不同流量数据采集存储方案进行了测试比较; 实现并分析了基于ARMA模型的网络流量预测; 给出了一种基于Trap扩展定义的流量超越阈值告警处理方法. 在南昌市大型电信数据网络上的应用表明, 该系统在网络流量监测与预测方面可以取得很好的效果, 且具备良好的性能.     

基于深度学习的网络流量分类识别研究

目前互联网上会存在海量的网络流量数据信息,这些海量的网络流量数据信息还未得到充分性的利用,如果有效的采取一些必要的方法或者手段,分析整个的网络流量挖掘信息对于后期的网络发展趋势,挖掘网络当中所存在的异常状态并且有采取针对性的措施,这对于后期的网络应急响应能力的增强、抵御网络不法攻击行为、快速的维护网络空间安全等方面都具有非常重大的价值及意义.本文基于网络流量识别的基本需求,分析了深度学习经典模型-CNN的基本原理,在此基础上将原始流量进行分层处理,并建立了基于注意力机制的改进的CNN算法的网络流量识别模型,最后在国际标准数据集上进行仿真分析.实验测试结果表明,该模型可以实现对各类网络流量有效识别.     

强噪声海量物联网数据处理中节点选择算法研究

当前节点选择算法在强噪声干扰下,通过优先级理论实现节点选择,存在安全性差、能耗高、整体性能低下的弊端,为此,提出一种新的强噪声海量物联网数据处理中节点选择算法。将数字序列中某点的值用与该点相邻的各点值的中值替换,通过中值滤波法对物联网中的强噪声进行去除,完成强噪声干扰去除后。通过基于后悔函数的平衡剩余能量节点选择算法对海量物联网数据处理中节点进行选择。依据误码率选择满足要求的节点作为候选节点,通过减少无效处理增强能量性能。利用后悔函数对节点相对物联网的剩余能量进行估算,依据节点相对于其他节点的剩余能量确定延迟时间,从而实现节点选择。实验结果表明,采用所提算法对海量物联网数据处理中节点进行选择,不仅安全性高,而且节能性好、整体性能高。     

网络流量监测中在线数据融合方法设计

在线数据融合方法在网络流量检测中一直有融合精确度低、接收点差的问题。提出一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值;并以此为基础,通过时空综合分析,计算节点的量测实时方差;并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,适应能力较强。     

突发灾难下大型路网中的人员疏散模型

为减少突发灾难下人民生命财产的损失,研究适合中国国情的大型路网环境中人员疏散问题.在分析突发性灾难发生的类型、扩散模式及其对大型路网运输能力影响的基础上,设计了灾难对路段的影响矩阵;采用以公共交通为主,私家车辆为辅的人员疏散方案,建立由虚拟疏散起点模块、虚拟疏散终点模块、流量分配模块和疏散时间预测模块组成的大型路网人员疏散模型;并应用实际路网和模拟路网进行仿真.结果表明:设计的疏散模型能在较短时间内,得到最优疏散路线,并快速分配路段流量;针对大型复杂的路网,也能在1 min内设计出疏散最佳的路径,并得到各疏散节点上的实时流量;该方法可以为决策人员制定疏散计划提供依据,提高受灾人员疏散效率,减少生命财产损失.     

Peer-to-Peer网络流量矩阵的计算模型

为了更好通过流量工程等方法来优化网络中的对等(P2P)网络流量,提出了一个P2P流量矩阵的计算模型。该模型考虑了P2P网络中节点的连接关系、流量本地化因素以及在不同类型网络的特点,对网络中源节点和目的节点之间的P2P流量进行建模。在实际的P2P数据下的仿真结果表明:模型的误差比已有的简单重力模型和独立连接模型分别低43%和32%左右。该模型可以有效的计算P2P流量矩阵,从而指导网络性能的优化。     

基于流的时间相关特征的VPN加密流量识别

随着网络流量规模和来源的增加,对网络流量监控和分析的挑战也随之增加,尤其是 对加密流量进行识别的问题,该挑战性问题在于如何对加密流量不解密的情况下直接识别加密流 量。因此,针对加密流量识别问题,本文提出了一种基于流的时间相关特征的VPN加密流量识别 方法。通过设置2个实验场景,实现了加密流量与非加密流量的识别,并根据流的类型将加密流量 划分为不同的类别,在识别出加密流量的基础上又实现了应用识别和服务类型的识别。最后在公 开数据集ISCXVPN2016上利用不同的机器学习算法进行了对比实验,实验结果表明：使用较短的 流超时值可以提高识别准确率,在流超时值为15 s时结果最优。上述实验结果也证明了时间相关 特征是表征加密流量和VPN流量的良好分类准则。     

基于决策树的网络流量分类方法

针对传统流量分类方法(基于端口和有效载荷)分类不可靠的问题,提出基于C4.5决策树算法,根据训练集中属性的信息增益比率构建分类模型,按属性对测试数据集进行预测,通过查找分类模型实现对网络流量的分类。在公开数据集和自己采集的数据集上进行实验,结果表明,采用C4.5决策树算法对网络流量分类,平均分类精度为93%,单类别分类精度均在90%以上,能有效地实现对网络流量应用类型的识别。     

面向车联网泛洪攻击的流量异常检测方法

为了有效检测车联网环境下的泛洪攻击,缓解泛洪攻击对车联网的不良影响,该文提出了面向车联网环境下针对泛洪攻击的轻量化流量异常检测方法。通过在路侧单元使用Hurst自相似参数估计方法计算车联网数据包流量的自相似变化曲线,检测流量异常变化,并上传异常时段的数据包信息到云端,云端统计各节点发送数据包情况,通过检测数据包大小异常变化来检测发起泛洪攻击的恶意节点。通过对车联网实际网络流量仿真计算结果表明,该流量异常检测方法能在低中高3种泛洪攻击强度下,有效检测出恶意节点。     

基于深度学习的SSL VPN加密流量的分类识别

随着虚拟专用网技术的广泛使用，VPN加密流量的分类识别对于网络安全管理的重要性愈发明显，而传统流量分类技术在提取特征和关键协议字段时效率较低.因此，本文提出一种基于卷积神经网络的深度学习模型，用以实现SSL VPN加密流量的分类识别，并减少特征工程中的人力成本.首先，将流量区分为VPN加密流量和非VPN加密流量，并且确定出这两类流量所属的服务类型；然后对所有流量进行分类，识别出产生流量的应用类型.考虑到网络流量中存在的时序关系，采用一维卷积神经网络作为深度学习的模型，通过构建Pytorch的实验环境，采用ISCX2016数据集，实现对VPN加密流量的分类任务.通过参数优化，除数据量较小的数据类型外，应用识别的平均F1-score为91.73%,流量识别的平均F1-score为91.13%.实验结果表明，基于一维卷积神经网络的深度学习方法对于识别SSL VPN流量是可行和有效的.     

网络多链路出口路由优化调度方法的改进分析

对网络多链路出口路由进行优化调度的过程中,传统的路由调度方法只分析了网络拓扑结构,容易出现链路拥塞的情况,忽略了网络流量特征,增加了队列长度与通讯时间,调度效果不佳。提出基于N元非合作模型的网络多链路出口路由优化调度方法,依据路由表空间串行流量调度的状态,对多链路网络的抽象拓扑进行设计,获得多链路网络流量能否经过链路的判断,通过非合作性理论在单控制节点中从多选择域中获取渐进次优解,使得路由数据流从单控制节点映射至多链路出口时可以保持各链路上的流量均衡。引入链路因数对各链路上路由映射的量进行管理,完成对路由调度的改进分析。实验结果表明,所提方法不仅具有很高的调度效率,而且调度均衡性和资源利用率较优。     

P2P流检测技术研究综述

P2P流量已经占据了整个网络流量的60%—70%,HTTP、EMAIL等传统的流量已经受到P2P流量的影响,同时伴随大量非授权内容的传播和安全问题。网络运营商、企业网和校园网为保证传统应用的性能,需要对P2P流量进行有效管理。要完成这一目标,首要工作是对P2P流的检测,把它和传统的流量区分出来。该文对P2P流检测主要方法进行了总结,将当前的检测方法分为基于报文层面、流层面和节点层面3大类,针对各类中具体的方法,分析了各自的优点和缺点,并进行了比较。提出将多种方法结合使用有效对P2P流进行检测。最后分析了P2P流检测技术进一步的研究方向。     

基于自监督学习的交通数据补全算法

区域高速公路网收费站数量众多,每日产生海量收费数据,但由于设备、网络等因素,部分站点数据传输存在延迟现象,在此情况下已传输的数据往往不能满足实时流量预测的要求。为了实现实时交通数据补全和动态交通流量预测,文中首先提出了一种基于自监督学习的用于高速公路交通流量数据缺失补全的方法,该方法采用了基于注意力机制的时间序列模型（Seq2Seq-Att）;然后使用自监督学习方式对模型进行训练;最后,以广东省高速公路网的80个收费站为例,验证方法的可靠性。结果表明：文中的数据补全方法能够灵活捕捉交通数据中的缺失情况,并根据数据自身的内在关联性,给出合理的补全值;该方法总体优于其他方法,且在不同缺失率下都有较好表现,总体MAPE约为17.7%、WMAPE为12.8%;在高缺失率情况下,该方法相比于其他补全方法有明显的优势。交通量预测结果表明,使用该方法补全的数据进行交通流预测的预测精度接近使用完整数据的情况。     

轨道交通换乘站换乘设施服务水平评价指标与标准研究

城市轨道交通换乘站作为轨道线网节点,其服务质量直接影响轨道交通线网整体服务水平以及运营效率。选取合理评价指标评价轨道交通换乘站换乘设施的服务水平,有利于提高轨道交通换乘站通行能力以及运营管理水平。在介绍轨道交通换乘站内部换乘设施及分析换乘设施服务水平影响因素的基础上,建立换乘设施服务水平评价指标体系;以苏州地铁广济南路站客流数据为基础,制定各换乘设施服务水平分级标准;考虑换乘客流方向不均衡性,运用加权法建立换乘设施整体服务水平评价模型,得出早高峰时段广济南路换乘站换乘设施整体服务水平为C级。     

动态路径诱导交通阻抗优化方法与实现

基于实时交通采集数据,获取合理动态规划最优路径,提出了考虑驾驶员出行行为因素的交通阻抗优化方法.研究了基于实时交通状态因素的动态路网优先等级指数的确定方法,重构了动态路径诱导交通网络模型,大大降低了路网的复杂度;基于多源实时数据,研究了动态路径诱导交通阻抗优化的计算方法,实现了路网的动态路径诱导,并通过GIS平台进行了仿真分析.该方法更符合驾驶员行为习惯,对于改进Dijkstra算法在动态路径诱导中的应用具有操作优势和显著意义.     

基于社区挖掘的网络业务监控方法

网络业务监控通常应用于大型企业级网络监控,通过分析企业网中承载的业务数据,实现对网络中业务类型及不同业务对应的终端分布情况的监测.提出了一种基于社区挖掘的网络业务监控方法,该方法的输入为企业网中IP通联数据,通过构建IP通联图,并基于IP通联图进行社区挖掘,输出IP通联社区,每个社区代表一种业务类型,社区内节点代表相应的业务终端.通过对某大型跨国企业网络数据的实证分析,发现与传统业务监控方法相比,该方法不仅能够有效发现各业务网络,实时监控业务网络状态,且能对网络中出现的新业务进行预警.     

基于粗糙集的传感网络节点故障诊断方法研究

传感网络节点一般分布于环境复杂的区域,当前故障诊断方法诊断精度低,虚警率高,整体性能低。提出一种基于粗糙集的传感网络节点故障诊断方法,给出传感网络结构图,采用粗糙集方法,通过过滤传感网络节点故障数据不关键属性集,得到简化的节点故障属性集,保持了分类能力,提高了运行效率。通过对传感网络故障节点数据进行约简,减少传感网络节点故障数据特征向量维数。建立简化层次各异的传感网络节点故障诊断决策网络,对故障诊断决策规则覆盖度进行分析,求出所有符合既定采集规定的诊断决策规则集,完成新故障状态的处理,实现传感网络节点的故障诊断。实验结果表明,所提方法不仅具有很高的诊断精度,而且虚警率低、整体性能高。     

基于CBF流抽样的网络安全

现有网络中常存在DDOS、恶意端口及IP扫描、蠕虫等异常产生大量的只包含1个数据包的流量.针对高速网络流量特点及网络异常导致的流量突然上升,提出了一种改进的基于CBF的流抽样算法.该算法对定长时间内到达的数据包进行固定数量的抽样,使抽样率能适应于流量变化,并可控制资源的消耗,尤其当泛洪攻击、DDOS攻击等导致大规模异常网络流量出现时,能有效保护路由器的处理器和内存资源以及传输流记录所需的带宽资源,同时又不失简单性和准确性.     

一种基于服务的虚拟局域网模型

简要分析了目前以太网平台上VLAN实现技术的局限性,提出基于服务的虚拟局域网管理策略,建立了一套较完整的基于服务的虚拟局域网(VLAN)体系结构VASS·通过仿真实验及UDP视频数据流传输实验,VASS较好地控制了广播通信量,大幅度降低了局域网需经过路由的数据量,提高网络系统抵御广播风暴的能力·同时采用该模型后网络资源的分配和使用都较以前灵活、有效,提高了网络的通信服务效率·     

基于数据流多维特征的移动流量识别方法研究

随着移动互联网的快速发展,移动设备的数量激增至历史新高.从大量混杂流量中识别出移动流量并对流量进行分析,是深入研究移动互联网特性的第一步,同时可以为移动网络测量与管理、移动安全和隐私保护提供有价值的信息.本文综合整理了网络流量识别的常见方法,提出了基于数据流多维统计特征的移动流量识别方法.该方法从硬件特征、操作系统指纹和用户使用习惯三个方面提取了数据流中具有代表性的特征并对特征进行分析,使用集成学习的方法生成识别模型.移动流量的识别准确率和主流的5种操作系统流量分类的准确率都达到了99%以上.本文方法比UAFs方法准确率提高了8%左右.本方法提取的特征具有多维性并且具有实际意义,整合了网络层和传输层的数据流特征,相较于使用深度数据包检测的方法,基于数据流多维特征的方法同样适用于加密流量的分类.