基于Web的网络流量分类管理系统

针对传统的流量分类管理系统存在不稳定、结果反馈不及时、分类结果显示不直观等问题,设计一个基于Web的在线的流量分类管理系统。该系统采用流中前5个包(排除3次握手包)所含信息作为特征值计算资源,集成一种或多种分类算法用于在线网络流量分类,应用数据可视化技术处理分类结果。实验表明:在采用适应在线分类的特征集和C4.5决策树算法做分类时,系统能快速做出分类,且精度达到94%以上;数据可视化有助于人机交互,改善分类指导。     

网络协议流不平衡环境下基于机器学习算法的在线流量分类方法研究

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

网络协议流不平衡环境下基于机器学习算法的在线流量分类方法

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

基于ELM的网络流量分类及可视化研究

精准的网络流量分类是网路流量监测和网络流量数据分析的重要基础。机器学习方法利用统计网络流量的各种特征,不依赖于协议端口和协议内容对网络流量数据进行分析。采用超限学习机(ELM)和改进算法分层超限学习机(H-ELM)作为机器学习的算法,识别客户端与服务器。对链路层、网络层和应用层数据进行分析,实现对多层次网络流量数据的可视化,对H-ELM和ELM算法的实验结果进行对比。实验结果表明,ELM算法能有效地应用于网络流量分类,基于ELM分类模型的网络流量识别训练速度快。H-ELM通过紧凑的特征去除冗余原始输入,改进了总体学习表现。     

基于流中前 5 个包的在线流量分类特征

针对在线流量分类所面临的特征计算复杂和分类性能不稳定问题,利用流开始的前 5 个数据包（排除三次握手数据包）,计算数据包大小、负载大小和到达间隔时间等网络流量的统计特征,通过分析 3 种机器学习算法（C4. 5、BayesNet 和NBTree）分类的结果,研究可用于在线流量分类的特征以及这些特征应该满足的条件。实验结果表明,所提特征计算简单,能快速有效地区分不同的流量,对于不同的机器学习算法,均取得了较高的分类准确率（92%以上）,适用于在线流量分类。     

使用自组织增量径向基网络的在线网络流量分类算法

针对传统流量分类方法存在模型训练速度慢、样本标记成本高和难以满足分类实时性的问题,构建了一种在线的半监督流量分类算法——OSOINN-RBF。首先使用改进的自组织增量神经网络对数据进行在线增量式的无监督学习,获得代表流量数据分布的SOINN网络,SOINN中节点的权重和半径分别作为径向基网络隐藏层节点的中心和半径;径向基网络能够捕获数据中难以发现的规律性,具有良好的泛化能力和学习收敛速度;最后使用少部分标记样本调节径向基网络输出层的权重,提高径向基网络的分类性能。实验结果证明,与主流分类算法相比,OSOINN-RBF算法的分类性能都为最优,具有最小的时间开销;面对未知流量类别时,OSOINN-RBF算法相比SOINN算法的分类准确率提高了5%～7%。     

基于动态分类算法的入侵检测系统

为了使分类方法适合网络入侵检测系统在线、实时的特点,根据自适应谐振理论提出了基于联想和竞争学习的动态分类算法。算法采用改进的胜者全得方法训练神经网络,通过估算类别数目方法优化初始系数。该算法能防止分类时丢弃特殊模式,并能对未知类别数量的数据动态进行分类,实验采用相同的数据集训练自适应谐振理论网络和动态分类网络。结果证明,动态分类算法具有良好的收敛性和模式分类能力。将该算法应用于入侵检测系统的网络行为智能学习,其误报率仅为10%左右。     

基于多元增量分析的全网络在线异常检测方法

现有的全网络流量异常检测方法大多是离线方法或是对其进行数据更新的简单在线化改造,无法提供良好的在线检测性能.以全网络多维流量数据为研究的数据源,采用多元增量分析的方法,提出一种非先验自适应的在线异常检测算法.该算法以增量的方式构建流量矩阵的常态模型,不需要特殊的训练数据和独立的训练阶段.采用仿真实验数据和骨干网Abilene的采集数据,并通过与现有广泛采用的离线和在线方法进行对比分析,结果表明该算法在保持较好的检测性能的基础上实现了全网络在线异常检测.     

基于深度森林算法的分布式WSN入侵检测模型

针对现有的特征选择算法和分类算法在无线传感器网络(WSN)入侵检测系统中检测性能表现不佳、检测实时性差、模型复杂度高等问题,提出一种基于随机森林和深度森林算法的分布式WSN入侵检测模型.该模型首先对传感器节点流量数据进行预处理;然后将轻量级随机森林分类器部署到传感器节点和簇头节点,传感器节点和簇头节点合作对流量数据进行处理,并在基站上采用深度森林算法从大量流量数据中发现攻击行为;最后对WSN中的入侵行为进行实时分类入侵检测.使用无线传感器数据集WSN-DS和NSL-KDD数据集来评估所提出的模型性能.实验结果表明,该模型与现有的入侵检测模型相比,具有良好的检测性能,实时性较高,可避免模型过度拟合.     

基于DNS日志分析的用户在线检测算法

为解决用户在线检测算法依赖于流量分析,不便于部署在大型网络的问题,提出了一种基于DNS日志分析的用户在线检测算法.这种算法通过使用DNS日志记录避免了复杂的流量分析,利用用户不使用网络时产生的DNS静默期来识别出用户的上下线时刻和在线时间.使用了清华大学校园网的真实数据进行算法验证,达到90.6%的精确率和96.3%的召回率.进一步研究清华大学校园网络用户在线时长和上下线时间等特征的,结果证实了无线网络用户在线时间短、变化快等特点,而且工作日和周末用户特征明显不同,这些结果表明该算法能够实际应用于大型网络的管理中.     

SMART: 基于数据流技术的电信网络流量监控系统

大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式,处理速度远跟不上大量数据到达的速度。基于这种情况,提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的Netflow V5或者V9格式的数据,并将其转换成用户定义的监控流;以滑动窗口的方式查询输出流量构成中Top-k频繁数据信息;监测网络流量突变;以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7*24h运行。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

基于参数嵌入算法的支持向量机分类可视化研究

针对常用的降维算法只能可视化高维数据某一方面或某几方面特征的不足,运用参数嵌入算法在低维空间可视化其所有的特征。首先假设数据的类别在嵌入空间服从高斯分布,通过支持向量机分类算法获得训练数据在高维空间类别属性的后验概率,然后运用参数嵌入算法得到测试数据在嵌入空间的坐标和类别属性,从而实现高维数据分类的可视化．在Usps,YaleB,Mini Newsgroups数据集上的实验结果表明,该方法不仅能在低维空间表示高维数据与所属类别的联系,而且能正确揭示出数据集内部和类别集内部的关系,有利于深入研究高维数据分类的性质,参数嵌入算法的可视化效果优于直接应用PCA,ISOMAP等算法得到的低维图形,并且计算复杂度仅是数据类别和相应个数的乘积,非常适合于数据量大,类别数较少的数据分类可视化。     

基于互信息的特征选择在入侵检测中的优化

在处理入侵检测中的大规模数据时,冗余和不相关的特征数据长期造成网络数据流量分类问题,这种特征会降低分类效率和精度,并影响系统的实时检测率。该文提出了一种新的基于互信息的特征选择算法(NMIFS),该算法能处理线性和非线性相关的特征数据。在数据预处理的过程中,使用该算法选择出最优特征,然后结合常见的最小二乘支持向量机算法(LSSVM)对数据进行分类。采用入侵检测标准数据集KDD Cup 99对模型进行性能评估,对比其他新型的优化算法,结果表明NMIFS算法更有助于LSSVM算法实现更高的分类精度和效率,降低计算复杂度,同时提高模型的检测率。     

基于NetFPGA的网络流量采集器

针对大多数基于软件的流量采集器不能实时处理高速环境下网络流量的问题,设计并实现一种基于NetFPGA的流量采集器,以达到在线流量的采集和分类。本设计采用模块化的架构,利用循环冗余检验算法来标识一个流,同时生成存储器的地址,在采集流量之前运用灵活的过滤规则对网络流量进行过滤,以减少待分类的网络流,使得采集器可以根据不同的需要采集流量。将采集器应用于千兆交换机网络环境进行在线数据采集实验,结果显示,该网络流量采集器能以线速工作在吉比特网络中。     

通话网络的分析度量方法

论述了3种通话网络分析方法:数据统计分析法、可视化关系图分析等、基于PageRank算法的精确度量法。首先简要介绍最常见的数据统计分析法,并在一个简单的测试数据集上,给出了应用实例。该方法的优点是有利于对数据做精确统计计算,但缺点是不便于分析数据之间的关联关系,并且分析结果展现形式也不直观。然后采用可视化关系图分析软件来分析实例中的数据,以弥补数据统计分析法的不足,能够得到更加直观的定性观测分析结果。最后提出采用PageRank算法对可视化关系图做精确定量计算,得到各个节点的权值,从而判断出节点的重要性。这对于解决可视化关系图结果过于复杂、不利于人工观察分析的问题很有效。     

基于机器学习的网络流量分类算法

互联网应用的蓬勃发展产生了种类多样的网络流量。在网络技术不断进化的过程中,新型流量和流量加密技术的出现,使基于端口和基于有效载荷的传统网络流量分类算法的应用受到限制。为了实现对新型网络流量的自动分类,提出了一种基于机器学习的网络流量分类算法。通过选择特征属性和构建决策树模型,能够实现对流量级别的网络数据进行自动分类。使用网络流量分类领域的公开数据集进行训练和测试,并将测试结果与开源的机器学习平台Weka运行结果相比较,实验结果表明:所构建模型性能优良,在流量分类准确度与Weka平台相近甚至更优的前提下,大幅降低了建模时间,提高了网络数据分类的效率。     

一种处理不均衡多分类问题的特征选择集成方法

为解决不均衡多分类问题，提出一种特征选择和AdaBoost的集成方法。首先，数据进行预处理。利用WSPSO算法进行特征选择，根据特征重要性选取初始粒子构建初始种群，使得算法初期就可以沿着正确的搜索方向开展，减少不相关特征的影响。其次，利用AdaBoost算法对于样本权重较敏感的特点，增强对小类样本的关注度。并且利用AUCarea作为评价标准，相对于其他评价标准，AUCarea具有可视化的优点且对较差AUC更加敏感。最后，与其他几种不均衡分类算法在不平衡数据集上进行对比，结果证明该算法可有效处理不均衡多分类问题。     

双螺杆泵性能测试的实时监控系统

根据双螺杆泵的性能测试要求,介绍了可进行实时监控的自动检测系统,分析了其硬件构成与软件设计的原理。该系统采用研华IPC、PCL-818L板卡、PCLD-8115接线板,在windows环境下,使用MCGS工控组态软件实现监控。其可对压力、流量、转速、扭矩、温度、泵功率、轴功率及效率等多项性能参数进行自动检测或计算,并绘制性能曲线。数据的可视化管理为及时了解试验工况、在线分析试验数据提供了可能。     

模式分类的可视化算法设计

模式识别是20世纪60年代发展起来的一门学科。目前,模式识别技术已在语音识别、文字识别、图象识别等领域得到成功的应用。主要对模式分类一些算法进行可视化技术研究,通过图表显示的统一数据接口,将模式分类的某些算法集成在一起,组成一个可以满足一定需要的模式分类应用系统。