高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测（CODHD-Stream）算法。该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的 K-means 聚类算法将数据集划分成微聚类,并检测微聚类的离群点。通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度。     

浅谈如何利用数据流功能诊断电控发动机故障

使用故障诊断仪对发动机单元进行诊断时,并根据发动机电控单元的故障代码进行维修,这样的方法在大部分的情况下是可行的,但是单靠这样很容易造成判断失误,所以最可行的办法是用诊断仪对数据流进行检测,根据静态和动态数据流来分析发动机的故障。本文首先介绍了数据流检测的要求,然后主要谈了怎样利用静态和动态数据流分析电控发动机故障。     

基于统计的自适应窗数据流离群点检测算法

使用滑动窗口的统计方法进行数据流离群点检测,是一种有效的在低纬度下进行离群点查找的方法,但是该法无法处理数据密度不均匀的数据流.据此提出一种自适应的基于统计的数据流动态检测算法.首先利用局部数据欧式空间中距离的数学期望和方差找到一个合适的k阶邻域,然后对这个k阶邻域内数据点的欧式距离和进行基于统计的离群点检测,实现自动适应数据流中稀疏段和稠密段的密度变化.理论和实验结果均表明,该算法可以有效地解决数据流离群点检测问题.     

联合多重卷积与注意力机制的网络入侵检测

利用深度学习方法建立一种网络入侵检测模型CAL.该模型通过多重卷积提取数据流的深层特征,利用注意力机制提取代表数据流结构特点的关键特征,以提高对不同数据流特点的表达能力,并通过池化计算压缩数据,提高模型泛化能力,使用基于CuDNN加速的长短时记忆网络,在学习数据流上下文特征和时序信息的同时,加速模型收敛.在数据集UNS...     

一种适用于实时多媒体业务的随机早期检测算法

针对随机早期检测算法(RED)可能连续丢弃同一数据流分组的问题,提出了一种适用于实时多媒体业务的主动队列管理算法.在网络未发生拥塞时,该算法以一定的概率丢弃到达的分组.在丢弃分组时要根据瞬时丢包率判断该数据流最近的分组丢弃情况,如果最近丢包率比较高则放弃丢弃,避免连续丢弃该数据流的分组,以保证多媒体应用的服务质量.在网络拥塞时,丢弃部分数据流的分组,避免了因拥塞造成的大部分多媒体应用同时中断.实验结果表明,不论网络是否拥塞,所提算法都能为实时多媒体应用提供较好的服务质量.     

基于数据流异常挖掘的入侵检测系统设计

通过对入侵检测和数据流异常挖掘技术的研究,把数据流异常挖掘应用到入侵检测,成为目前入侵检测新的有效方法和研究热点.对基于数据流异常挖掘的入侵检测系统模型进行了设计,并对数据流异常挖掘算法进行了设计和实现,通过实验分析,取得了较好的效果.     

一种数据流异常并行挖掘算法

研究了一种面向入侵检测的数据流异常并行挖掘算法,通过对数据流的信息统计和比较,可以得到数据流的异常信息,结合入侵检测特征库,可以判断是否是入侵信息。     

一种基于仿射传播的增强型流聚类算法

针对目前流聚类算法无法有效处理数据流离群点的检测和处理,以及增量式数据流聚类效率较低等问题,提出了一种基于密度度量的异常检测、删除的增强型仿射传播流聚类算法。在仿射传播流聚类算法的基础上,所提算法通过引进异常检测和删除机制改善了异常点对聚类精度、聚类效率的影响。利用仿射传播聚类实现在线数据流的聚类过程,同时检测数据漂移现象,即数据流分布特征随时间发生变化,并采用基于密度度量的局部异常因子检测技术(LOF)对储备池数据进行异常检测和删除处理,通过对当前类簇和处理过的储备池数据重聚类来重建动态数据流模型。在真实网络数据(KDD’99)上进行了实验,结果表明,所提算法不仅减少了重聚类构建动态模型的次数,改善了聚类效率,而且在同时考虑聚类精度、纯度和熵3种聚类评价标准下,均优于传统的仿射传播流聚类算法。     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

一种抗噪的概念漂移数据流分类方法

隐含概念漂移的数据流分类问题是数据挖掘领域研究的热点之一,而实际数据中的噪音会直接影响概念漂移检测及分类质量,因此具有良好抗噪性能的数据流分类方法具有重要的研究和应用价值.随机决策树的集成模型是一种有效的数据流分类模型,为此本文基于随机决策树,引入Hoeffding Bounds不等式来检测和区分概念漂移和噪音,根据检测结果动态调整滑动窗口的大小和漂移检测周期,并提出一种增量式的集成分类方法ICDC,实验结果表明,本文算法在含噪音数据流上处理概念漂移是有效的.     

分布式多维数据流频繁模式挖掘算法设计

针对在对分布式、多维数据流频繁模式挖掘算法研究时,没有删除多维数据流中的非频繁项集,存在平均处理时间长的问题,提出分布式多维数据流频繁模式挖掘算法。该方法根据人工神经网络特点,建立了人工神经网络模型,并对多维数据流训练,以达到提升挖掘效率的目的;并基于训练结果构造数据流频繁模式信息树,即频繁模式树(FR-tree:Frequent Pattern tree)。由于FR-tree中存在较多过期的多维数据流,所以需要对FR-tree剪枝,并删除非频繁项集,从而加快频繁模式计算速度,并采用分布式挖掘算法对全局FR-tree挖掘,从中取得多维数据流的频繁项集完全集,实现分布式多维数据流频繁模式的挖掘。通过对该方法的平均处理时间测试,验证了该方法的实用性。     

基于静态集成PU学习数据流分类的入侵检测方法

从数据流角度提出一种静态的集成PU学习数据流分类的入侵检测方法,在实验验证中通过对不同数据集指标比较,证明了算法的有效性,可在减少人工标注量的同时取得较好的检测效果。     

RealMon: 处理低质量SNMP数据流的实时监测系统

提出了一个新颖的数据流监测系统RealMon的设计和实现。该系统能够在大量的网络流量数据中通过分析不同数据流之间的关联关系及时地检测出数据异常。通过应用数据流挖掘算法,该系统能够对电信骨干网络的SNMP流量数据进行监测。同时为了解决所采集SNMP数据中存在着的大量数据质量问题,该系统集成了数据流清洗算法,该算法能够实时处理SNMP数据来提高所采集数据的质量。在模拟环境中的测试表明,该系统能够在SNMP数据流上同时对数千条链路进行有效监测。     

数据流聚类挖掘算法优化研究

在大数据时代,概念漂移检测技术用于解决数据流的动态性问题,还存在不足之处.为此,该文基于概念漂移检测算法对大数据下数据流聚类挖掘算法进行优化,提出了改进的FKNN模型算法,解决了算法中的需要专家及运算效率比较低下以及采样密度必须足够大或者说维度比较低的难题.     

基于随机平衡采样的不平衡数据流分类研究

数据流广泛应用于现实世界的多个领域,但是不平衡数据流的存在严重影响了传统数据流分类器的性能.针对不平衡数据流问题,提出了随机平衡采样算法(RBS)处理数据流的不平衡问题,并以RBS算法为基础提出了随机平衡采样数据流集成算法(RBSSEA)旨在解决不平衡数据流的分类问题.最后,分别采用合成和真实数据集对RBSSEA算法进行验证,实验结果证明RBSSEA算法在解决不平衡数据流分类问题具有一定的优势.     

一种基于密度的数据流检测算法SWKLOF

总结目前数据流在线检测算法的优缺点,提出了一种新的数据流在线检测算法—SWKLOF。该算法采用滑动时间窗口对数据流进行封装,用k-距离进行剪枝,剔除大部分正常数据,对剩余疑似异常数据采用局部离群因子LOF(local outlier factor)进一步精确筛选。理论分析和实验结果表明该算法降低了时间复杂度,提高了检测准确性。     

基于数据流挖掘技术的入侵检测模型与算法

针对目前基于数据流关联规则挖掘技术的入侵检测系统响应速度不够快和检测精度不够高的问题,提出一个基于数据流最大频繁模式的入侵检测系统模型MMFIID-DS;设计各种剪枝策略,挖掘经过训练学习后的正常数据集、异常数据集和当前检测数据流的最大频繁项集,建立系统的正常行为模式、异常行为模式和用户行为模式,达到极大缩小搜索空间的目的,提高系统的响应速度;结合误用检测和异常检测2种入侵检测方法进行实时在线检测入侵,提高系统的检测精度。理论与实验结果表明:MMFIID-DS入侵检测系统具有较好的性能。     

数据流窗口查询语义的局限性及改进方法

在数据流处理系统普遍使用滑动窗口查询模型来解决数据流的持续查询问题.对一些特殊的查询类型,在使用滑动窗口查询时无法完全达到查询要求,通过引入条件窗口对滑动窗口模型进行更一般化的扩展和改进,可以解决滑动窗口语义在处理这一类型查询中的局限性.     

基于视频的改进帧差法在车流量检测中的应用

如何有效去除背景、消除按车道开固定窗检测车辆的方法中,由于车辆换道或相邻车道的车辆部分覆盖了被检测车道检测窗而引起的误检,是车辆检测系统需要解决的一大难题.针对上述问题提出了一种基于视频的改进的帧差法,在检测带内由车辆信息生成数据流,根据数据流的变化进行车辆检测、计数并估计平均车速.从而实现对过往车辆的准确计数,更可靠地收集各车道的车流信息,为智能交通提供实时交通参数.     

一种流量无关的数据流突发检测算法

针对数据流整体数据量波动剧烈的情况下准确突发检测问题,改进了经典的聚合塔数据结构,提出了一种流量无关的数据流突发检测方法FFBD(flow free burst detection)。该方法使用单个元素数量与总体元素数量的比值作为单个元素滑动窗口内的聚合函数值,并使用前后2个滑动窗口内的聚合函数的比值来判断突发,该数据结构能够高效支持弹性窗口时间跨度不大的应用场景。实验结果证明,与典型的聚合塔突发检测方法相比,FFBD方法虽然多使用了2%的存储空间、提高了5%的计算复杂度,但能有效地规避整体数据流的显著变化对单个元素突发检测带来的影响,有着更好的检测效果。