基于密度聚类算法的异常检测

聚类算法通常用于数据的聚类,但只要对算法结果从另一角度进行分析,则可发现它还可以用于异常数据的检测. 首先介绍了数据挖掘中的聚类算法,进而结合具体实例给出应用基于密度的聚类算法DBSCAN进行异常检测的过程,最后指出最终异常数据集的确定还应结合领域专家意见.     

基于异常检测的入侵检测技术

对目前的异常检测技术进行了全面概述, 按照采用的不同技术将异常检测分为基于统计、 基于机器学习和基于数据挖掘3种, 阐述了各种异常检测技术的特征, 并描述了目前基于异常入侵检测系统用到的各种算法及其实现方法. 通过实验结果, 比较了各种算法的检测效果.     

基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

基于改进密度聚类的异常检测算法

提出一种基于改进密度聚类的异常检测算法(ADIDC), 通过在各特征列上分别进行密度聚类, 并根据各特征对正常轮廓的支持度进行特征加权, 解决了聚类分析方法在异常检测应用中误报率较高的问题. 通过大量基于异常检测数据集 KDD Cup 1999的实验表明, 其相对于传统异常检测方法在保证较高检测率的前提下, 有效地降低了误报率, 对某些与正常行为相近的特殊攻击检测率明显提高. 同时利用特征权值进行特征筛选提高了其检测性能和效率, 更适应实时检测要求.     

粗糙集理论中基于距离的异常检测

针对现实世界中的不确定与不完整数据,根据粗糙集理论的框架提出了一种基于距离的异常检测方法.由于粗糙集理论是处理不确定性与不完整性的一种有效工具,因此该方法可以从不确定与不完整的数据中高效地检测出异常.另外,定义了2种特定的距离度量,用来计算2个对象之间的距离.最后,对粗糙集理论中基于距离的异常检测算法也进行了讨论.     

基于密度子空间孤立森林的异常用电检测

针对传统异常用电检测在面临高维数据中的维数诅咒,以及不相关特征对异常检测的影响,造成检测精度低等问题。提出了一种基于无监督密度子空间选择的孤立森林检测算法。首先,提出了一种有效的基于密度的紧凑数据表示方法,提高了子空间选择策略的效率。然后,应用最小冗余-最大相关-密度准则(min-Redundancy-Maximum-Relevance-to-Density , mRMRD),用于选择基于互信息的相关子空间。最后,在相关子空间中构建隔离树并集成孤立森林,实现对异常用电数据的检测。通过实验分析,与传统检测算法相比,所提方法在准确率、ROC曲线下面积（Area Under Curve,AUC）、F1-Score指标上均有提升,提高了异常用电检测的效果。同时,灵敏性分析也验证了无监督密度子空间孤立森林检测算法的有效性。     

基于PCA的无监督异常检测方法研究

针对现有的无监督异常检测技术的不足之处,提出了一种基于样本分布异常数据实例度量方法;将主成分分析方法应用到异常检测中解决数据集高维数据的降维问题.提出一种新的无监督异常检测算法μ-UAD,并对该算法进了性能评估.实验表明,该算法具有较好的检测性能.     

基于人工蜂群优化的密度聚类异常入侵检测算法

采用改进的人工蜂群优化算法解决密度聚类异常入侵检测中的参数和特征组合优化问题. 首先, 在初始化蜜源阶段采用不同的编码方法分别对参数和特征值进行编码; 然后, 在邻域搜索阶段利用两种搜索策略分别对参数和特征值进行搜索; 最后, 为满足异常入侵检测对低误报率的需求, 在新的适应值函数中加入误报率影响因子. 实 验结果表明, 基于人工蜂群优化的密度聚类异常入侵检测算法不仅提高了正常行为轮廓的精度, 而且降低了计算开销和存储空间, 并在一定程度上消除噪声特征的干扰, 实现了检测性能的提升.     

基于数据流异常挖掘的入侵检测系统设计

通过对入侵检测和数据流异常挖掘技术的研究,把数据流异常挖掘应用到入侵检测,成为目前入侵检测新的有效方法和研究热点.对基于数据流异常挖掘的入侵检测系统模型进行了设计,并对数据流异常挖掘算法进行了设计和实现,通过实验分析,取得了较好的效果.     

基于改进K-means的电力数据异常检测算法

异常检测方法在电力领域有着广泛的应用,如设备故障检测和异常用电检测等.改进了传统Kmeans聚类随机选择初始聚类中心的策略;结合数据对象的密集度与最大近邻半径,选择更加接近实际簇中心的数据点作为初始聚类中心,并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法.实验表明,上述算法具有更优的聚类效果和异常检测性能,并且在应用于电力领域时,算法可以有效地检测出异常电力数据.     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

孤立点检测算法与应用

孤立点检测问题是数据挖掘领域中的一个重要研究内容．首先对目前有代表性的孤立点检测算法进行综述,详细阐述了其实现的基本原理、实现的步骤和应用范围,进而对这些典型算法的优缺点进行了分析与比较,随后介绍了几种孤立点的典型应用,最后对孤立点检测算法的发展趋势从4个方面进行了展望．     

Constructing three-dimension space graph for outlier detection algorithms in data mining

Outlier detection has very important applied value in data mining literature. Different outlier detection algorithms based on distinct theories have different definitions and mining processes. The three-dimensional space graph for constructing applied algorithms and an improved GridOf algorithm were proposed in terms of analyzing the existing outlier detection algorithms from criterion and theory.     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

基于瀑布型混合技术的异常检测算法

针对隔离森林(iForest: isolation Forest)算法对局部异常点检测能力较低, LOF(Local Outlier Factor)算法 检测时间较长的问题, 提出了基于瀑布型混合技术的隔离森林算法 iForest-WHT(isolation Forest based on Waterfall Hybrid Technology)。 该算法借鉴瀑布型混合技术思想, 将隔离森林算法作为过滤器, 以分割路径为阈 值判断依据, 将路径小于阈值的数据放入候选异常子集, 继而使用考虑极值影响的改进的 LOF 算法对候选异 常子集进一步精化, 得到更加精确的异常点。 实验结果证明, 该算法能以较高的效率识别局部异常点, 提高了 算法的 F 1 值, 并且降低原 LOF 算法的误检率。     

A mapreduced-based and cell-based outlier detection algorithm

Outlier detection is a very important type of data mining,which is extensively used in application areas.The traditional cell-based outlier detection algorithm not only takes a large amount of time in processing massive data,but also uses lots of machine resources,which results in the imbalance of the machine load.This paper presents an algorithm of the MapReduce-based and cell-based outlier detection,combined with the single-layer perceptron,which achieves the parallelization of outlier detection.These experiments show that this improved algorithm is able to effectively improve the efficiency of the outlier detection as well as the accuracy.     

基于有权重超图的离群点检测

基于有权重支持度框架的关联规则挖掘算法和超图分割算法, 给出一种新的基于有权重超图模型的离群点检测算法WHOT(Weighted Hypergraph based Outlier Test). WHOT算法根据有权重支持度的定义, 重新设计了基于有权重支持度框架的关联规则挖掘算法, 并挖掘出数据集中的重要关联规则, 形成超图. 在超图上应用超图分割算法, 得到聚类集合, 再结合项权重和事务权重的定义, 判断一条记录是否为离群数据.     

一种基于相似度量的离群点检测方法

离群点检测在是数据挖掘的重要领域,广泛应用在信用卡欺诈检测、网络入侵检测等重要方面,文中在结合层次聚类和相似性,给出高维数据的相似度量函数与类密度的概念,并基于类密度重新定义高维数据的离群点,从而提出一种基于相似度量的离群点检测算法;实验表明:算法对高维数据中的离群点检测有一定的价值。     

孤立点挖掘在教务管理中的应用研究

孤立点挖掘是一个重要的知识发现任务,在介绍孤立点及其挖掘算法的基础上,利用孤立点检测方法对教务管理系统中积累的数据进行分析,并提出基于距离和的孤立点检测算法。实验结果分析表明,该算法降低了检测过程对用户设置阀值的要求,在时间复杂度上,稍微优于循环一嵌套算法。     

ARIMAX模型中的异常点挖掘

异常点挖掘的意义主要体现在两个方面.传统观念中,异常点常常被认为是噪声数据或无用数据,分析时的一般方法是排除这些干扰数据,更好地估计模型的参数.然而,随着Lon-Mu Liu.et(2001)在快餐行业的数据中进行了实例分析,异常点挖掘也被用于挖掘异常点本身所蕴含的信息.ARIMAX模型引入了外部变量,可以更好地拟合数据.因而对含异常点的ARIMAX模型,提出了利用Gibbs抽样挖掘其中AO型异常点的方法,最后进行了模拟试验,取得了较好的结果.