网络协议流不平衡环境下基于机器学习算法的在线流量分类方法研究

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

基于Web的网络流量分类管理系统

针对传统的流量分类管理系统存在不稳定、结果反馈不及时、分类结果显示不直观等问题,设计一个基于Web的在线的流量分类管理系统。该系统采用流中前5个包(排除3次握手包)所含信息作为特征值计算资源,集成一种或多种分类算法用于在线网络流量分类,应用数据可视化技术处理分类结果。实验表明:在采用适应在线分类的特征集和C4.5决策树算法做分类时,系统能快速做出分类,且精度达到94%以上;数据可视化有助于人机交互,改善分类指导。     

网络协议流不平衡环境下基于机器学习算法的在线流量分类方法

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

一种新型带宽公平分配算法

为了有效地解决个别大流量数据流所造成的不合理带宽占用问题，提出了一种用于路由器的对带宽进行公平分配的流量标记缓冲管理(TMBM)算法．该算法由流量分类标记算法和缓冲管理算法组成，它将每一个数据包归属到数据流，根据每种数据流发送的累计数据包进行数据流分类，按照分类的结果和该类数据流对先进先出(FIFO)缓冲区的利用情况，由缓冲管理算法来确定对该数据流的带宽分配．在不同流量组合的情况下对该算法进行了仿真，结果表明：在各种情况下它都可以达到公平的带宽分配效果，性能比Drop—Tail、RED和DRR等算法优异．     

基于数据包特征的加密流量分类

随着加密技术在网络应用中的广泛应用,如何在不侵犯用户隐私的情况下对加密流量进行分类成为新的挑战。文章提出了一种基于数据包的加密流量分类方法,这种方法不仅安全,而且可以有效防止恶意攻击流量。在流量传输过程中,每个数据包的任务是不同的。有些数据包负责维护连接,有些负责数据交互。以往的研究忽略了数据包行为对流量分类的影响。基于数据包的方法旨在通过聚类算法来区分正常和恶意数据包对流量分类的影响,以识别加密的恶意流量。该方法使用公共流量数据集和实验室收集的流量数据集进行验证,并与其他2种方法进行比较,证明了基于数据包的加密流量分类方法的有效性。     

基于集成学习的P2P流量识别模型

将DTNB、OneR和BP神经网络算法集成用于P2P流量识别,构建了基于该集成学习算法的P2P流量识别模型。利用网络流量特征和机器学习中生成规则的集成分类算法将网络流量分为P2P流量和非P2P流量。所建立的P2P流量识别模型分为网络流量特征的获取、P2P流量特征选取以及建立流量分类模型三个步骤。采用十折交叉验证与测试集相结合的方法CTFCVWTS(combining T-fold cross validation with testing set)评估模型的合理性和提出方法的有效性。实验得出流量分类准确率平均为97.27%。结果表明,该模型具有较高的P2P流量识别准确率。     

基于机器学习的网络流量分类算法

互联网应用的蓬勃发展产生了种类多样的网络流量。在网络技术不断进化的过程中,新型流量和流量加密技术的出现,使基于端口和基于有效载荷的传统网络流量分类算法的应用受到限制。为了实现对新型网络流量的自动分类,提出了一种基于机器学习的网络流量分类算法。通过选择特征属性和构建决策树模型,能够实现对流量级别的网络数据进行自动分类。使用网络流量分类领域的公开数据集进行训练和测试,并将测试结果与开源的机器学习平台Weka运行结果相比较,实验结果表明:所构建模型性能优良,在流量分类准确度与Weka平台相近甚至更优的前提下,大幅降低了建模时间,提高了网络数据分类的效率。     

基于时序流的移动流量实时分类方法

移动互联网的快速发展,产生了网络测量、网络安全和服务质量等方面的新问题.为了深入研究移动互联网的特性,研究人员需要从传统网络流量中快速准确分类出移动流量.本文提出了一种采用轻量级流表与深度数据包检测技术（DPI）相结合的移动流量实时分类方法,将网络流按照时间间隔关系扩展为时序流,并通过DPI时序流前N个特征数据包准确地分类出移动流量,缩减了流表规模,减少了实际DPI开销.通过实时的网络流量实验表明,DPI时序流前8个特征数据包时,提出的方法识别准确率达到91.55%,单次深度数据包检测的平均开销为20个数据包,并且流表的规模缩减到原来的0.21%.与P0F比较,方法识别准确率等性能有明显提升.      

一种多特征融合的加密流量快速分类方法

网络流量识别是网络管理和安全服务的基础.随着互联网的不断扩展及其复杂性的增加,传统基于规则的识别方法或流行为特征的方法正在面临着巨大挑战.受自然语言处理（Nature Language Processing, NLP）启发,本文提出了一种多特征融合的加密流量快速分类方法.该方法通过融合数据包和字节序列特征来完成网络流的特征表示,采用双元字节编码将所选特征扩展为双字节序列,增加了字节的上下文语义特征;通过与数据包特征处理相适应的池化方法来最大限度保留数据包的特征信息,从而使所提模型具有更强的抗噪能力和更精确的分类能力.本文方法分别在ISCX-2016和一个包含66个热门应用程序的私有数据集（ETD66）上进行验证,并与其他模型展开比较.结果表明：本文所提方法在ISCX-2016及ETD66上的测试精度和性能都明显优于其他流量分类模型,分别取得了98.2%和98.6%的识别准确率,从而证明了所提方法的特征提取能力和强泛化能力.     

基于注意力机制的加密流量识别

随着人们网络安全意识的提高,加密流量呈爆炸式增长,流量加密在保护用户隐私的同时,也为安全检测带来了新的挑战。针对传统基于机器学习的流量识别方法存在需要手动设计分类特征、分类准确率不高等问题,提出一种基于卷积神经网络与自注意力机制(Convolutional Neural Network and Self Attention, CSA)的加密流量分类方法,依据网络流量的层次结构特性,采用卷积神经网络提取数据包内字节流的空间特征、自注意力机制提取数据包之间的时序特征。在公开数据集ISCX VPN-NonVPN上的实验结果表明,CSA模型的分类准确率达到了95.0%,相较基准深度模型,准确率和F1值皆有明显的提升。     

Research on internet traffic classification techniques using supervised machine learning

Internet traffic classification is vital to the areas of network operation and management. Traditional classification methods such as port mapping and payload analysis are becoming increasingly difficult as newly emerged applications (e.g. Peer-to-Peer) using dynamic port numbers, masquerading techniques and encryption to avoid detection. This paper presents a machine learning (ML) based traffic classification scheme, which offers solutions to a variety of network activities and provides a platform of performance evaluation for the classifiers. The impact of dataset size, feature selection, number of application types and ML algorithm selection on classification performance is analyzed and demonstrated by the following experiments: (1) The genetic algorithm based feature selection can dramatically reduce the cost without diminishing classification accuracy. (2) The chosen ML algorithms can achieve high classification accuracy. Particularly, REPTree and C45 outperform the other ML algorithms when computational complexity and accuracy are both taken into account. (3) Larger dataset and fewer application types would result in better classification accuracy. Finally, early detection with only several initial packets is proposed for real-time network activity and it is proved to be feasible according to the preliminary results.     

校园网络流量分流过程的分析与程序实现

随着近年来网络使用的普及,针对网络流量分析领域的研究越来越多.提出了各种流量分类算法,其最终目的是为了更好地识别网络带宽中的流量组成.基于对多种不同的流量分类算法的研究发现,网络流量的成流过程作为流量分类算法的基础性工作起着不可或缺的作用,并发现数据包成流的定义也各不相同.描述了一种基于数据包五元组的网络流量成流过程,对某校园网络流量实现了离线式的数据包成流,并针对成流过程中所出现的一些问题进行分析,给出可能的解决方案.     

基于样本集质量的建筑能耗预测机器 学习算法选择及参数设置

使用机器学习算法对建筑能耗进行预测正逐渐成为建筑设计初期重要的决策辅助工具,机器学习算法的选择及其参数设置一直是机器学习领域研究的热点和难点。但现有研究大多从算法原理角度进行预测模型的选择及参数设置,训练样本集的特征信息未得到充分利用。为此,提出一种以样本量及样本分布特征为出发点的样本集质量分类方法,针对不同质量样本集测试不同机器学习算法的学习性能,制定不同质量样本集的算法选择及参数设置策略。分析样本特征与算法性能之间的关系,为建筑设计提供有效指导。     

基于SVM的木马流量特征检测方法

针对木马能以隐蔽的方式盗取用户敏感信息、文件资源或远程监控用户行为,对网络安全构成极大威胁,提出一种基于流量特征的木马检测方法,通过统计分析服务器端口有序性、服务器使用客户端端口号、客户端发包数、服务器端发包数等特征,使用支持向量机(support vector machine,SVM)算法进行分类训练并建立基于流量的木马监测模型;基于流量特征的普遍性和通用性,该方法对于未知木马也比较有效.仿真测试结果表明,所提出方法具备对常见木马或未知木马的良好检测能力,实验条件下盲检测准确率可达96.61%.     

基于KCPA提取特征和RVM的图像分类

为了得到更理想的图像分类结果,提高图像分类的效率,提出一种核主成分分析与相关向量机(RVM)相融合的图像分类算法.首先采集大量图像,建立图像数据库,并提取图像特征;然后采用核主成分分析对图像进行选择和降维,减少图像特征数量,消除作用较小的特征;最后通过相关向量机的训练构建图像分类器.采用3个图像数据集进行图像分类实验,实验结果表明,对于3种标准图像数据库的图像,该算法的图像分类正确率大于95%,远高于其他算法的图像分类正确率,且图像分类速度可以满足图像的实际应用要求.     

应用支持向量机的交通流状态预测方法研究

支持向量机（support vector machine,sVM）是近年来出现的立足于统计学习理论（statislical learning theory,SLT）的VC维理论和结构风险最小化原则基础上的机器学习方法,在数据挖掘及分类中具有特点和优越性．为了提高交通流状态预测的精度及效率,研究支持向量机应用于数据泛化及分类的方法,并建立模型,在实测数据的基础上进行交通流状态的判定及预测．实验结果表明该方法学习及预测速度快、效率高,并且误差可控,具有较高的精确度（本文中实例精度高于95％）,应用前景广泛．     

基于深度学习的交通标志检测方法研究

提出了一种基于Faster R-CNN深度学习框架的交通标志检测方法,使用VGG16卷积神经网络自动提取交通标志图像特征,并将卷积特征图传入区域建议网络(RPN)中进行前景目标筛选及回归目标边框,将建议区域框映射到特征图上,经过RoI池化层后输出固定大小的建议框,利用分类网络对建议区域进行具体的类别判断,并精确回归目标的边框。并将算法在德国交通标志数据集GTSDB进行了实验验证,实验结果表明了所提出算法的有效性,该方法对不同光照、遮挡、标志模糊等具有鲁棒性。     

基于颜色模型和区域特性的交通标志提取方法研究

为了提升交通标志的检测效率,研究了基于RGB归一化交通标志阈值分割算法和基于HSI颜色模型的交通标志阈值分割算法,对比分析了两种分割算法的性能。针对分割后二值图像交通标志虚警率高的问题,研究了标志的区域特性,提出了基于区域特性的交通标志提取阈值处理方法,为进一步提升基于形状特征或基于机器学习的交通标志检测效率奠定了坚实基础。