基于NetFPGA的网络流量采集器

针对大多数基于软件的流量采集器不能实时处理高速环境下网络流量的问题,设计并实现一种基于NetFPGA的流量采集器,以达到在线流量的采集和分类。本设计采用模块化的架构,利用循环冗余检验算法来标识一个流,同时生成存储器的地址,在采集流量之前运用灵活的过滤规则对网络流量进行过滤,以减少待分类的网络流,使得采集器可以根据不同的需要采集流量。将采集器应用于千兆交换机网络环境进行在线数据采集实验,结果显示,该网络流量采集器能以线速工作在吉比特网络中。     

基于均值汇总模型的网络流量评估方法的研究

针对网络中出现突发流量异常现象,提出了一种基于均值汇总模型的网络流量评估方法,对采集的流量数据进行均值运算,消除异常数据,保留正常稳定数据.通过实验方法,采集网络设备流虽数据样本,对流量进行评估验证.实验结果表明:此方法可以较好的评估网络流量的实际状况.     

基于ELM的网络流量分类及可视化研究

精准的网络流量分类是网路流量监测和网络流量数据分析的重要基础。机器学习方法利用统计网络流量的各种特征,不依赖于协议端口和协议内容对网络流量数据进行分析。采用超限学习机(ELM)和改进算法分层超限学习机(H-ELM)作为机器学习的算法,识别客户端与服务器。对链路层、网络层和应用层数据进行分析,实现对多层次网络流量数据的可视化,对H-ELM和ELM算法的实验结果进行对比。实验结果表明,ELM算法能有效地应用于网络流量分类,基于ELM分类模型的网络流量识别训练速度快。H-ELM通过紧凑的特征去除冗余原始输入,改进了总体学习表现。     

基于Web的网络流量分类管理系统

针对传统的流量分类管理系统存在不稳定、结果反馈不及时、分类结果显示不直观等问题,设计一个基于Web的在线的流量分类管理系统。该系统采用流中前5个包(排除3次握手包)所含信息作为特征值计算资源,集成一种或多种分类算法用于在线网络流量分类,应用数据可视化技术处理分类结果。实验表明:在采用适应在线分类的特征集和C4.5决策树算法做分类时,系统能快速做出分类,且精度达到94%以上;数据可视化有助于人机交互,改善分类指导。     

模糊理论在网络流量攻击检测中的应用

网络数据流量攻击不仅会使网络负担过重而失去响应,而且由于网络流量的不确定性,给基于网络流量的攻击检测带来困难.将模糊数学的相关理论引入流量的描述,并结合梯度判定的算法对流量进行评估,较好地避免了定量算法对网络流量评估不准确导致的判断偏差.通过对常见的流量攻击事件的实际测试,验证了本算法的合理性和有效性.     

一种基于深度特征融合的网络流量分类方法

随着网络应用的持续发展,识别特定的流或者应用程序有着重要的作用。由于机器学习方法对特征选择较为苛刻,因而,具有自动特征提取的深度学习算法的优势就突显出来了。但现有深度学习方法大多是对网络流量的原始字节进行处理和分类,而原始字节包含较多的冗余和混淆信息。针对此,提出了一种基于深度特征融合的流量分类方法。该方法对原始的统计特征进行融合,并将融合后的特征转化为灰度图像,应用卷积神经网络对转换后的灰度图像进行分类,达到对加密流量进行分类的目的。在两个真实数据集上进行实验验证,分类准确率达到了92%～99.89%。与文献方法相比,在网络流量粗粒度和细粒度分类上都取得了更好的结果。     

基于自组织映射网络的流量分类算法

网络流量分类在QoS、流量控制及网络安全等领域发挥了重要作用. 有监督型的机器学习方法对新流量的识别往往依赖于先前的人工分析;自组织映射网络算法模拟生物神经元,通过自组织行为对数据进行分类学习;实验表明,该无监督型算法能够对新流量进行自动识别,提高了流量识别的准确率.     

基于流时间影响域的网络流量异常检测

针对如何提高网络流量异常行为检测准确率的问题,提出基于网络流时间影响域(TID)的网络流量检测模型.通过分析正常和异常情况下流量网络模型平均度的变化,构建了基于复杂网络平均度指标的网络流量异常检测算法.实验结果表明,基于网络流时间影响域的流量网络模型能合理地描述网络流量间的依赖关系,具有良好的检测性能,同时该网络模型仅需时间戳、源IP、目的IP三维网络特征即可实现,检测方法适用于绝大多数网络类型,检测效率优于其他网络流量异常检测方法,具有较高的普适性.     

采用子网流量组合优化的网络流量分割方法

针对当前基于仿真的流量分割方法存在处理开销过大且仅能保证流层面流量完整性的问题,提出了一种组合优化的网络流量分割方法.将流量经分割后得到的数据包总延迟次数作为优化目标,由此网络流量分割问题转化为二次分配优化问题;用子网流量作为基本单元进行分配,可在减小问题求解规模的同时保证子网流量的完整性.利用真实网络流量对所提方法的分割效果进行了验证,并与基于数据包和流的轮询流量分割方法进行了比较,结果表明,所提方法能够达到基于流的轮询流量分割方法的性能,数据包延迟较之不采用优化的基于子网流量轮询方法显著减小,性能提高近10%.     

基于机器学习的网络流量分类算法

互联网应用的蓬勃发展产生了种类多样的网络流量。在网络技术不断进化的过程中,新型流量和流量加密技术的出现,使基于端口和基于有效载荷的传统网络流量分类算法的应用受到限制。为了实现对新型网络流量的自动分类,提出了一种基于机器学习的网络流量分类算法。通过选择特征属性和构建决策树模型,能够实现对流量级别的网络数据进行自动分类。使用网络流量分类领域的公开数据集进行训练和测试,并将测试结果与开源的机器学习平台Weka运行结果相比较,实验结果表明:所构建模型性能优良,在流量分类准确度与Weka平台相近甚至更优的前提下,大幅降低了建模时间,提高了网络数据分类的效率。     

基于流中前 5 个包的在线流量分类特征

针对在线流量分类所面临的特征计算复杂和分类性能不稳定问题,利用流开始的前 5 个数据包（排除三次握手数据包）,计算数据包大小、负载大小和到达间隔时间等网络流量的统计特征,通过分析 3 种机器学习算法（C4. 5、BayesNet 和NBTree）分类的结果,研究可用于在线流量分类的特征以及这些特征应该满足的条件。实验结果表明,所提特征计算简单,能快速有效地区分不同的流量,对于不同的机器学习算法,均取得了较高的分类准确率（92%以上）,适用于在线流量分类。     

网络协议流不平衡环境下基于机器学习算法的在线流量分类方法研究

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

城市公共交通线路网规划方法

本文建立了城市公共交通线路同优化模型,设计了“分离目标,逐步优化”的公交线路网规划方法。本文主要采用网络优化方法,公交线路网的设计步骤可利用计算机进行。     

数据挖掘技术在话务网数据分析中的研究与应用

利用数据挖掘技术设计了移动通信话务网管数据挖掘系统,将概念、分类、关联、时间序列分析等算法应用于话务网管散据分析中,重点介绍分类分析算法在话务网管数据分析系统中的应用．     

Research on internet traffic classification techniques using supervised machine learning

Internet traffic classification is vital to the areas of network operation and management. Traditional classification methods such as port mapping and payload analysis are becoming increasingly difficult as newly emerged applications (e.g. Peer-to-Peer) using dynamic port numbers, masquerading techniques and encryption to avoid detection. This paper presents a machine learning (ML) based traffic classification scheme, which offers solutions to a variety of network activities and provides a platform of performance evaluation for the classifiers. The impact of dataset size, feature selection, number of application types and ML algorithm selection on classification performance is analyzed and demonstrated by the following experiments: (1) The genetic algorithm based feature selection can dramatically reduce the cost without diminishing classification accuracy. (2) The chosen ML algorithms can achieve high classification accuracy. Particularly, REPTree and C45 outperform the other ML algorithms when computational complexity and accuracy are both taken into account. (3) Larger dataset and fewer application types would result in better classification accuracy. Finally, early detection with only several initial packets is proposed for real-time network activity and it is proved to be feasible according to the preliminary results.     

一种基于流量预测的启发式路由表更新算法

针对目前的路由表更新机制无法有效地控制和降低因路由表更新而导致的网络丢包量的问题,提出一种基于流量预测的启发式路由表更新算法。利用流量预测模型对IP路由器中各路由表项所对应的网络流量进行预测,并在此基础上通过启发式算法动态调整路由表项的更新顺序和更新-分发批处理的量程大小,以实现在路由表更新过程中产生最少的网络丢包量。仿真实验结果表明该算法有效地减少因路由表更新引起的网络丢包量。     

环形放射状路网拓扑结构交通拥堵特性

考虑交通出行需求和路网拓扑结构,研究了环形放射状路网上的交通拥堵特性。基于国内7个城市的出租车乘客OD数据分析,研究了出租车用户群体出行距离分布特性,建立了一种基于OD分布的交通需求生成普适性模型。在此基础上,研究了特定需求分布下规则网格状和环形放射状两种典型路网结构的交通拥堵特性。结果表明在满足特定OD直线距离分布的交通需求下,环形放射状路网拓扑结构能有效减少网络拥堵时间,节约交通出行成本。     

基于神经网络的交通参数预测方法

为能够迅速准确地采取相应措施处理交通拥堵问题,改善行车安全,进而提高路网效率,研究了基于神经网络的交通参数预测方法,预测了交通流量、速度和占有率.在分析常用BP(Back Propagation)神经网络算法的基础上,研究误差平方和最小化的L-M(Levenberg-Marquart)算法.相对于常规预测方法,基于神经网络的交通参数的预测方法对于随机的参数变化具有更好的适应性,能及时跟随交通参数的变化,所以精确度更高,适应性更好.仿真结果显示,L-M算法的训练速度相比于常规BP算法要快几十倍,预测交通流量、速度和占有率等参数的效果优于常用的指数平滑算法,因此基于神经网络的交通参数预测方法可以应用于交通领域.     

基于分形理论的网络流量异常检测技术

传统网络流量异常检测技术不能适应网络流量的复杂性,异常检测精度低,不能保证实时性,为此,提出一种新的基于分形理论的网络流量异常检测技术。通过FIR滤波方法对流量的时间序列进行预处理。采用Schwarz信息准则对网络流量异常检测问题进行处理,估测网络流量异常点数量与位置。采用R/S分析法求出自相似指数Hurst值,依据Hurst值对网络流量时间序列的分形特征进行分析。引入滑动窗口完成多网络流量异常点的检测,在检测异常点处对流量进行分形处理,依据自相似指数计算过程获取异常点间的流量自相似指数值,保存异常点之后的流量,为下一个流量异常点的检测提供依据。实验结果表明,所提技术实现过程简单,网络流量异常检测精度高,保证了实时性。