网络协议流不平衡环境下基于机器学习算法的在线流量分类方法

随着时间的推移,网络协议流将出现不平衡的现象,经常出现不可预知的在线流量种类,传统在线流量分类模型无法对未知的流量种类进行分类,导致整体分类精度低,适应能力差。为此提出一种新的基于机器学习算法的在线流量分类方法,针对不同类别的在线流量样本流集合筛取出若干最近邻样本流,求出各个样本流特征权重,确定各个特征与类别的相关性,将相关性大的特征当成在线流量特征。依据得到的特征选取部分标识在线流量数据,确定K中值聚类的起始中心,构造映射关系,获取未知的在线流量种类。实验结果表明,所提方法有很高的分类精度,且扩展性和适应能力较强。     

基于生成式零样本学习的未知恶意流量分类方法

未知恶意流量是网络安全的重大安全挑战,对未知恶意流量的分类能够增强网络威胁识别能力,指导网络防御策略.未知恶意流量由于缺乏样本,无法满足现有的深度学习方法对大量数据的需要.本文提出了一种基于生成式零样本学习的未知恶意流量分类方法.从原始的网络流量中提取出关键的恶意流量信息并转化为二维图像,提出将恶意流量的属性信息作为辅助语义信息,利用条件生成对抗网络生成类别样本.同时,本文还添加了类级别的对比学习网络,使得生成的类别样本质量更高并且更具有类间区分度.实验结果表明,该方法在未知恶意流量分类问题上平均准确率能够达到90%以上,具有较高的应用价值.     

基于模糊粗糙集的半监督影像分类算法

针对影像分类中少量标记样本问题,提出了基于模糊粗糙集的影像半监督分类算法.首先,通过模糊粗糙集对数据的粗糙性与模糊性进行建模,采用归一化的模糊互信息来度量特征与类别信息的相关性,并利用模糊上下近似度量样本的类别隶属度;然后,结合归一化的模糊互信息改进正则化框架下的特征评价方法,在谱图分析的半监督特征选择框架下实现特征优选;其次,结合近邻约束提高模糊上下近似预测样本类别的准确性,设计基于模糊粗糙集的约束自学习,选择信息量大的未标记样本更新训练样本集;最后,利用新的样本集训练分类器,完成影像分类任务.多组实验表明所提算法能够在少量标记样本的条件下有效提高影像的分类精度.     

基于维样本近邻区间的分类算法研究

针对传统KNN算法忽略样本分布对分类的影响,易受到孤立样本、噪音等干扰,时间代价大等问题,提出了一种改进的近邻分类算法.该算法首先采用类维样本存储,打破了样本的整体性,转换了训练样本存储模式;其次按类维度寻求未知样本的类维近邻域,计算类维相似度进而得到未知样本的类别相似度;最后以最大类别相似度标识未知样本.该算法提高了分类效率,降低了独立样本对样本分类的影响.同时可处理连续型和标识型样本分类,并可适应各类样本分布情况,扩大了算法的应用范围.实验结果表明,该算法较传统的近邻算法与邻域分类算法在分类精度与分类时间上有了较大提升.     

基于时空特征自适应融合网络的加密流量分类方法

加密流量数据包之间具有明显的时序特征,现有方法很难提取出流量数据中隐含的时序特征,未能将时序特征与空间特征有效地融合,公开数据集大都存在类间样本不平衡的问题,给加密流量的准确分类带来巨大挑战.针对上述问题,提出了一种包含时空特征提取模块和难样本学习模块的卷积神经网络模型.时空特征提取模块先利用不同维度的卷积核来同步学习流量数据包序列中的时序和空间特征,再利用自适应加权融合策略将提取到的时空特征进行有效融合;难样本学习模块使用焦点函数让模型在训练过程中更偏向对困难样本的学习,进一步均衡不同类别的分类效果.实验结果表明：上述方法在ISCX VPN-nonVPN2016数据集和USTC-TFC2016数据集上的分类准确率分别达到了99.38%和99.46%,对不同类别流量分类结果的F1评价指标分别为99.04%和99.31%,与当前同类方法相比具有更优秀的识别性能.     

采用聚类特征的基本概率分配生成方法及应用

针对在识别框架不确定时基本概率分配(BBA)生成困难的问题,提出一种基于聚类特征的基本概率分配生成方法,以减弱对样本长度的依赖性,并分析2种情况下的BBA生成。在框架未知时,通过聚类分析获得各个类别的聚类特征,建立样本属性的聚类特征区间模型;在框架已知时,获取聚类特征,建立样本属性的聚类特征区间模型;然后用各个区间模型之间的距离表示样本属性之间的差异,在此基础上建立了一种相似度的度量方法;最后对相似度进行归一化得到BBA。采用Iris数据集和Wine数据集的实验结果表明:所提方法对样本长度敏感程度低,对Wine数据集的一个类的分类结果达到100%。将该方法应用于某煤化工企业压缩机组子系统状态监测信息数据集,实现了监测信息状态的识别。     

一种具有特征有效度的模糊支持向量机

针对传统支持向量机对噪声或野值样本敏感和忽略样本各个特征对分类精度的不同影响,提出了一种具有特征有效度的模糊支持向量机(FW-FSVM).该方法通过对模糊支持向量机的模糊因子进行改进,将噪声或野值样本与有效样本进行区分.在此基础上根据信息增益计算样本各个特征的特征有效度,消除弱相关特征和冗余特征对分类精度的影响,从而构...     

基于随机森林算法的航空高光谱数据分类方法研究

高光谱数据具有光谱范围广,光谱分辨率高等优势,可以用于不同地物的分类识别,为近年来遥感领域的研究热点。采用随机森林算法对机载高光谱数据进行了地物分类识别研究,首先选取不同种类的地物样本,并对每类样本打上类别标签,每个像素包含的波段数即为样本的特征数,送入随机森林分类器进行训练;然后将训练好的分类器对待分类的高光谱影像数据进行分类,待分类的数据初始化为统一的类别标签;并根据袋外数据自变量的扰动对分类精度的影响,计算不同波段特征对分类效果的重要性系数。实验采用C++语言结合Intel Open CV计算机视觉库,编写了高光谱影像分类识别程序,对机载AISA高光谱传感器获取的甘肃省张掖市农村与城市影像数据进行分类,结果表明本文算法具有较高分类精度和可靠性。     

基于广义加权支持向量机的焊接缺陷分类方法

提出了一种广义加权支持向量机（GWSVM）的焊接缺陷分类算法。首先为克服由于样本数量不平衡性引起的小样本类别精度差的问题,引入由于样本差异的权重;然后为解决不同类别的重要性要求,根据经验人工确定不同类别重要性的权重。针对样本重要性的影响,采用有监督模糊聚类方法来确定样本重要性权重。测试结果表明：广义加权支持向量机在噪声影响较大及样本类别相差较大时,能够提高重要的、数量少的缺陷检测精度。     

基于色彩空间和深度残差网络ResNet-50的复杂岩性油气藏岩石样本智能分类及识别

岩石样本的分类识别是油气和矿产资源勘探中的重要环节。目前,仍然以人工识别的实验方法作为主要方法,普遍存在主观性强、周期长、成本高等典型问题。机器学习的分类算法在图像分类领域已经得到广泛应用,然而由于岩石样本图像具有明显的差异性特征,甚至同类岩石样本图像也具有一定的色差,直接应用现成智能算法进行分类,验证集的准确度仅为85%左右。所以,基于色彩空间下岩石样本图像的颜色特征曲线,提出了一种基于颜色类别和深度残差网络ResNet-50的智能分类及识别方法。首先,以7种不同岩性的岩石图像为样本,提取样本的RGB颜色特征,应用无监督K-means聚类算法,按颜色分为3个大类,再通过有监督精细K-近邻(K-nearest neighbor, KNN)算法对颜色类别进行验证,平均分类精度为99%。然后,对于不同颜色类别下的岩石样本,利用深度残差网络ResNet-50进行分类识别。结果表明,不同颜色类别的岩石样本平均训练精度为93.15%,验证精度为88.21%,可以作为岩石样本分类的有效方法。     

基于流中前 5 个包的在线流量分类特征

针对在线流量分类所面临的特征计算复杂和分类性能不稳定问题,利用流开始的前 5 个数据包（排除三次握手数据包）,计算数据包大小、负载大小和到达间隔时间等网络流量的统计特征,通过分析 3 种机器学习算法（C4. 5、BayesNet 和NBTree）分类的结果,研究可用于在线流量分类的特征以及这些特征应该满足的条件。实验结果表明,所提特征计算简单,能快速有效地区分不同的流量,对于不同的机器学习算法,均取得了较高的分类准确率（92%以上）,适用于在线流量分类。     

基于改进特征选择法的光纤网络流量异常监测研究

采用当前方法进行光纤网络流量异常监测过程中,特征选择法无法全面描述流量异常特征监测的不足,存在监测效果较差的问题。为此,提出一种基于改进特征选择法的异常流量监测方法。首先采用分光方式对光纤网络流量进行分析,获取光纤网络流量时间序列,并描述用于流量异常监测的多时间序列之间的相互关系,然后利用改进特征选择法对网络出口流量进行特征提取。利用聚类算法选择网络流量异常最优类数和聚类中心,来对网络流量异常现象进行过滤,从而实现网络异常流量特征抽取、特征选择改进算法和网络流量异常监测的研发,从而提高光纤网络流量异常现象监测的准确度。仿真实验结果证明,通过这种方法,能有效地对网络流量异常现象进行监测,且算法简单,能够满足网络流量异常监测的应用需求,实用价值较高。     

在线社交网络中用户伪装攻击检测方法研究

当前用户伪装攻击检测方法无法适应动态环境,实时性不高;且需要准确的先验知识,检测精度较低。提出一种新的在线社交网络中用户伪装攻击检测方法,介绍了k最邻近节点(KNN)算法的基本思想,给出KNN算法的实现过程。分析了用户伪装攻击检测与分类的关系,确定在线社交网络中用户伪装攻击检测就是对被检测的未知行为进行分类的过程。针对用户行为,将训练集中正常用户行为的邻居进行排列,通过和k相似的邻居的分类标签对新用户行为类别进行判断,从而实现用户伪装攻击检测。实验结果表明,所提方法不仅检测精度高,而且开销小。     

基于集成学习的P2P流量识别模型

将DTNB、OneR和BP神经网络算法集成用于P2P流量识别,构建了基于该集成学习算法的P2P流量识别模型。利用网络流量特征和机器学习中生成规则的集成分类算法将网络流量分为P2P流量和非P2P流量。所建立的P2P流量识别模型分为网络流量特征的获取、P2P流量特征选取以及建立流量分类模型三个步骤。采用十折交叉验证与测试集相结合的方法CTFCVWTS(combining T-fold cross validation with testing set)评估模型的合理性和提出方法的有效性。实验得出流量分类准确率平均为97.27%。结果表明,该模型具有较高的P2P流量识别准确率。     

基于数据流多维特征的移动流量识别方法研究

随着移动互联网的快速发展,移动设备的数量激增至历史新高.从大量混杂流量中识别出移动流量并对流量进行分析,是深入研究移动互联网特性的第一步,同时可以为移动网络测量与管理、移动安全和隐私保护提供有价值的信息.本文综合整理了网络流量识别的常见方法,提出了基于数据流多维统计特征的移动流量识别方法.该方法从硬件特征、操作系统指纹和用户使用习惯三个方面提取了数据流中具有代表性的特征并对特征进行分析,使用集成学习的方法生成识别模型.移动流量的识别准确率和主流的5种操作系统流量分类的准确率都达到了99%以上.本文方法比UAFs方法准确率提高了8%左右.本方法提取的特征具有多维性并且具有实际意义,整合了网络层和传输层的数据流特征,相较于使用深度数据包检测的方法,基于数据流多维特征的方法同样适用于加密流量的分类.     

网络流量监测中在线数据融合方法设计

在线数据融合方法在网络流量检测中一直有融合精确度低、接收点差的问题。提出一种新的网络流量监测中在线数据融合方法,采集网络流量监测中的实时在线数据,通过卡尔曼滤波法对在线数据进行预测,获取网络流量状态值;并以此为基础,通过时空综合分析,计算节点的量测实时方差;并依据最小二乘准则,对数据进行加权处理,求出加权系数,引入加权数据融合算法,实现在线数据的融合。实验结果表明,改进的融合方法不仅融合精度高,而且所需能耗低,适应能力较强。     

基于时序流的移动流量实时分类方法

移动互联网的快速发展,产生了网络测量、网络安全和服务质量等方面的新问题.为了深入研究移动互联网的特性,研究人员需要从传统网络流量中快速准确分类出移动流量.本文提出了一种采用轻量级流表与深度数据包检测技术（DPI）相结合的移动流量实时分类方法,将网络流按照时间间隔关系扩展为时序流,并通过DPI时序流前N个特征数据包准确地分类出移动流量,缩减了流表规模,减少了实际DPI开销.通过实时的网络流量实验表明,DPI时序流前8个特征数据包时,提出的方法识别准确率达到91.55%,单次深度数据包检测的平均开销为20个数据包,并且流表的规模缩减到原来的0.21%.与P0F比较,方法识别准确率等性能有明显提升.      

Spark日志整合与FCM-DNN的网络流量分析算法

为了解决网络设备类型划分粒度粗,导致网络流量无法准确分类的问题,提出了一种基于Spark日志集成与FCM-DNN的流量分析算法。首先,该方法使用Spark集成会话日志以获取可分析的结构化数据;然后对同一网站的行为数据进行聚类,提取网站的多类簇特征集合,以解决单个会话连接特征维度较少、特征相似且不平衡的问题;最后,构建DNN网络,将统一化后的聚类特征与原始特征结合进行训练,并从聚类分组长度和损失函数等多个方面进行算法优化。仿真实验结果表明,对于特征较少的会话日志数据,该算法有效提高了网站分类的准确性,同时在保留学生上网特征的前提下将日志压缩了700倍,从而节省了存储开销。     

Transportation Mode Identification with GPS Trajectory Data and GIS Information

Global Positioning System(GPS) trajectory data can be used to infer transportation modes at certain times and locations. Such data have important applications in many transportation research fields, for instance,to detect the movement mode of travelers, calculate traffic flow in an area, and predict the traffic flow at a certain time in the future. In this paper, we propose a novel method to infer transportation modes from GPS trajectory data and Geographic Information System(GIS) information. This method is based on feature extraction and machine learning classification algorithms. While using GIS information to improve inference accuracy, we ensure that the algorithm is simple and easy to use on mobile devices. Applied to GeoLife GPS trajectory dataset, our method achieves 91.1% accuracy while inferring transportation modes, such as walking, bike, bus, car, and subway, with random forest classification algorithm. GIS features in our method improved the overall accuracy by 2.5% while raising the recall of the bus and subway transportation mode categories by 3.4% and 18.5%. We believe that many algorithms used in detecting the transportation modes from GPS trajectory data that do not utilize GIS information can improve their inference accuracy by using our GIS features, with a slight increase in the consumption of data storage and computing resources.