基于密度的异常检测算法在入侵检测系统中的应用

给出了异常的定义,介绍了几种典型的异常检测算法并比较它们的优缺点,发现基于密度的异常检测算法的局部异常观点较符合现实生活中的应用.阐述了基于密度的异常检测算法的定义及其在入侵检测系统中的具体应用.     

基于k-邻域密度的离散点云简化算法与实现

提出一种基于k-邻域密度(即k-邻域中的点云密度)的离散点云简化算法, 并给出了在三角网格重构中的实现. 该方法不仅可以保证实物模型重建后的整体轮廓, 而且在细节部分也较好地保持了局部形状特征. 三角网格重构的实验结果表明, 所给方法简单、 高效, 同时, 在实物模型平滑处与曲率变化较大处均取得了理想效果.     

基于自编码器和密度的融合离群点检测算法

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入"投票"思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SA...     

基于局部邻域标准化策略的多工况过程故障检测

为满足实际工业过程中的生产需求,复杂的化工过程往往会包含多种运行模态,而且过程数据不再单一地服从高斯分布或非高斯分布.过程数据的多工况分布特性以及同一工况下数据分布的不确定性使得传统的多元统计方法无法得到满意结果.针对复杂化工过程中多工况以及复杂数据分布的问题,提出一种基于局部邻域标准化策略(Local Neighborhood Standardization,LNS)的故障检测方法.首先,运用局部邻域标准化策略对历史数据集进行预处理,并充分考虑到邻域密度,再通过局部密度因子(Local Density Factor,LDF)构造监控统计量,进而对工业过程数据进行在线故障检测,最后通过数值例子和Tennessee Eastman(TE)过程验证本文方法的有效性.     

基于密度聚类算法的异常检测

聚类算法通常用于数据的聚类,但只要对算法结果从另一角度进行分析,则可发现它还可以用于异常数据的检测. 首先介绍了数据挖掘中的聚类算法,进而结合具体实例给出应用基于密度的聚类算法DBSCAN进行异常检测的过程,最后指出最终异常数据集的确定还应结合领域专家意见.     

基于异常点挖掘的聚类算法比较研究

随着人们对数据质量、欺诈检测、网络入侵、故障诊断、自动军事侦察等问题的关注,异常点挖掘在信息科学研究领域日益受到重视.本文首先给出异常点的定义,并在聚类分析的基础上对PAM算法、BIRCH算法、DBSCAN算法和CURE算法在算法效率、适合的数据类型、发现的聚类类型、对异常数据的敏感性、空间复杂性、时间复杂性、使用的方法等方面进行了比较研究,最后给出了如何使用这些聚类算法处理异常点的方法.     

基于改进密度峰值聚类的异常流量检测

针对网络异常流量检测技术准确率较低、簇的误划分等问题,提出基于改进密度峰值聚类算法的网络异常流量检测方案;首先对网络流量数据进行预处理和分组乱序,然后计算相应属性值并利用局部密度发现簇中心点,最后采用一种新的标签传递方式形成相应的簇群直至处理完所有数据。结果表明,相对于k均值算法和具有噪声的基于密度的聚类算法,基于改进的密度峰值聚类算法提升了网络异常流量的检测准确率,综合性能较优。     

基于分阶段离群点检测的电力市场异常辨识

为了监管电力市场中存在的各类违规行为,保证市场的公平竞争,提出了一种基于分阶段离群点检测算法的电力市场异常行为辨识方法.梳理不同交易阶段异常行为的特征,提取相应的特征指标,采用主成分分析法对其进行降维,分阶段地进行异常行为的检测.同时利用平均距离改进局部离群因子算法,显著地提升了算法的检测效果.通过某地区电力市场提供的...     

一种基于OPTICS和IncLOF的异常数据挖掘算法

在动态增加的数据库环境下,异常数据挖掘中二次挖掘时需重新计算数据集中所有数据对象的局部离群因子的超高时间复杂度问题,在Ioc LOF算法中得到解决并取得良好效果.当向数据库中同时增加多条数据对象时,其算法时间效率下降很快.本文提出一种新的异常数据挖掘算法,先用改进型OPTICS算法进行聚类,然后调用Inc LOF算法仅对部分受影响的数据对象计算局部离群因子.通过实验结果表明,与传统的Inc LOF算法相比,本文提出的算法在动态增加的数据库实验环境下,不仅算法时间效率得到提高,在异常数据挖掘的精度方面也有一定的优化.     

空间离群点检测算法对比与分析

对两种常用的空间离群点检测算法进行简单的介绍,并通过实验对算法进行比较,分析了这两种空间离群点检测算法的优缺点,以及导致它们差异的具体原因。这对寻找更好的空间离群点检测算法具有实用意义。     

基于距离和密度的聚类和孤立点检测算法

提出了一种基于距离和密度的聚类和孤立点检测算法.该算法根据距离和密度阈值对数据进行聚类,同时发现数据中的孤立点.实验结果表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好的识别出孤立点.     

基于聚类和局部信息的离群点检测算法

针对目前大部分离群点检测算法未考虑数据的局部信息, 导致离群点检测的准确率低问题, 提出一种新的基于聚类和局部信息的两阶段离群点检测算法. 通过定义新的局部离群因子作为判断数据对象是否为离群点的衡量标准, 改进了传统离群点检测算法的过程. 实验结果表明, 该算法在保持线性复杂度的同时, 能更准确、 有效地挖掘出数据集中的离群点.     

一种基于相似度量的离群点检测方法

离群点检测在是数据挖掘的重要领域,广泛应用在信用卡欺诈检测、网络入侵检测等重要方面,文中在结合层次聚类和相似性,给出高维数据的相似度量函数与类密度的概念,并基于类密度重新定义高维数据的离群点,从而提出一种基于相似度量的离群点检测算法;实验表明:算法对高维数据中的离群点检测有一定的价值。     

一种基于距离的聚类和孤立点检测算法

提出了一种基于距离的聚类和孤立点检测算法(DBCOD),根据距离阈值对数据点进行聚类,在聚类过程中记录每个数据点的密度,并根据密度阈值确定数据点是否为孤立点.实验结果表明,该算法不仅能够对数据集进行正确的聚类,可以发现任意形状的聚类,算法执行效率优于DBSCAN,具有对噪音数据、数据输入顺序不敏感等优点,同时还能有效地进行孤立点检测.     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

基于图的情境离群点检测方法

针对异常模式挖掘中的情境离群点检测问题,提出一种基于图的检测方法.首先对数据实例构建一个实例图,然后采用一个滑动窗口穿越数据实例,对处于滑动窗口内的数据实例,计算结点之间的闵可夫斯基距离作为边权值,然后采用最小生成树聚类算法对实例图进行聚类,再采用第二个滑动窗口穿越数据实例,根据窗口内的数据实例是否属于主趋势聚类赋予不同的离群值评分,不属于主趋势聚类的数据实例被认为是潜在的离群点.仿真实验和实际数据分析表明该方法在一元序列数据检测中是切实可行的,该方法具有较好的适用性和扩展性.     

离群数据检测研究

通过充分调研,对现有离群数据检测算法作了分析比较,总结出各算法的特点,并且探讨和展望了离群数据检测的几个热点问题,为离群数据检测算法的进一步研究打下基础。     

入侵检测中孤立点挖掘的方法研究

孤立点检测是数据挖掘中一个重要方面,用来发现“小的模式”(相对于聚类),即数据集中显著不同于其他数据的对象.在以往的数据挖掘应用中,孤立点经常被当作“噪声”而被剔除.为更好地提高入侵检测系统中的实时性和准确性,提出了新的解决方案.