孤立点检测算法与应用

孤立点检测问题是数据挖掘领域中的一个重要研究内容．首先对目前有代表性的孤立点检测算法进行综述,详细阐述了其实现的基本原理、实现的步骤和应用范围,进而对这些典型算法的优缺点进行了分析与比较,随后介绍了几种孤立点的典型应用,最后对孤立点检测算法的发展趋势从4个方面进行了展望．     

基于有权重超图模型的离群点发现

结合基于有权重支持度框架的关联规则挖掘方法和基于超图模型的离群点检测方法,给出了一种离群数据的改进定义,并通过一个简单的实例说明了这种离群数据的离群含义,且与原离群点定义做了比较,分析了新定义离群数据的应用价值.     

基于异常点挖掘的聚类算法比较研究

随着人们对数据质量、欺诈检测、网络入侵、故障诊断、自动军事侦察等问题的关注,异常点挖掘在信息科学研究领域日益受到重视.本文首先给出异常点的定义,并在聚类分析的基础上对PAM算法、BIRCH算法、DBSCAN算法和CURE算法在算法效率、适合的数据类型、发现的聚类类型、对异常数据的敏感性、空间复杂性、时间复杂性、使用的方法等方面进行了比较研究,最后给出了如何使用这些聚类算法处理异常点的方法.     

基于属性熵和加权余弦相似度的离群算法

离群点检测是数据挖掘的一个重要研究方向,大多数离群数据挖掘算法在应用到高维数据集时效率较低。给出了一种基于属性熵和加权余弦相似度的离群数据挖掘算法LEAWCD.该算法首先根据局部属性熵分析每个对象在其k-邻域内的局部离群属性,并依据各离群属性的属性偏离度自动设置属性权向量;其次使用对高维数据有效的余弦相似度经加权后度量各对象在k-邻域内的离群程度,实现高维局部离群点检测;最后采用国家天文台提供的天体光谱数据作为数据集,实验验证了LEAWCD算法具有伸缩性强和检测精度高等优点。     

离群数据检测研究

通过充分调研,对现有离群数据检测算法作了分析比较,总结出各算法的特点,并且探讨和展望了离群数据检测的几个热点问题,为离群数据检测算法的进一步研究打下基础。     

A mapreduced-based and cell-based outlier detection algorithm

Outlier detection is a very important type of data mining,which is extensively used in application areas.The traditional cell-based outlier detection algorithm not only takes a large amount of time in processing massive data,but also uses lots of machine resources,which results in the imbalance of the machine load.This paper presents an algorithm of the MapReduce-based and cell-based outlier detection,combined with the single-layer perceptron,which achieves the parallelization of outlier detection.These experiments show that this improved algorithm is able to effectively improve the efficiency of the outlier detection as well as the accuracy.     

GDLOF:基于网格和稠密单元的快速局部离群点探测算法

为了适应高维大规模数据集的稀疏性,解决现有离群点探测算法在运用于高维大规模数据集时计算量以及时间效率均无法令人满意的现状,区别于以往文献中以点的数量作为判断稠密的阈值,在基于密度的局部异常检测算法LOF的基础上,以通过数据集中每一点周围的邻近点的状况作为判别依据,提出了稠密单元和稠密区域的概念以及基于网格和稠密单元的快速局部离群点探测算法.通过证明稠密单元和稠密区域中的点不可能成为离群点,使得算法减少了LOF值的计算量并显著提高效率.实验表明,该算法对于高维大规模数据集具有良好的适用性和有效性.     

一种基于相似度量的离群点检测方法

离群点检测在是数据挖掘的重要领域,广泛应用在信用卡欺诈检测、网络入侵检测等重要方面,文中在结合层次聚类和相似性,给出高维数据的相似度量函数与类密度的概念,并基于类密度重新定义高维数据的离群点,从而提出一种基于相似度量的离群点检测算法;实验表明:算法对高维数据中的离群点检测有一定的价值。     

服务于智能交通系统的离群交通数据识别

为了提高交通建模的准确性和可靠性,或者提取重要的有价值的隐藏信息,将离群数据挖掘技术引入交通数据处理.首先分析了3种典型的离群数据挖掘算法:基于统计的方法、基于距离的方法以及基于密度的方法的原理、特点和时间复杂性;其次给出了2个实例分析,一是在建立交通流量预测模型前,将基于统计的方法和基于距离的离群检测方法分别用于交通量时间序列,寻找离群数据;二是将基于距离的方法和基于密度的方法用于路面平整度检测.实例研究表明,离群数据挖掘算法可有效识别异常交通数据,在交通工程领域具有较大的应用潜力.     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

离群数据集延伸知识发现研究

以现有离群挖掘技术为基础,结合已提出的离群约简与关键域子空间等一系列概念及其搜索算法,定义了离群最近邻、原子离群类及离群变异类等概念,提出了离群簇分析及离群趋势分析方法,建立了一种完整的离群数据集特征描述及延伸知识发现的整体框架CEKDO,以期对离群数据分类、产生来源、含义、行为特征以及离群趋势等进行全面分析,提出了离群分析的步骤。通过对移动通信业务数据的离群分析进行具体讨论,说明了这种离群延伸知识发现框架的实际应用。     

WA-IDS： A Distributed Intrusion Detection System Based on Data Mining

Aiming at the shortcomings in intrusion detection systems (IDSs) used in commercial and research fields, we propose the MAIDS system, a distributed intrusion detection system based on data mining. In this model, misuse intrusion detection system (MIDS) and anomaly intrusion detcction system (AIDS) are combined. Data mining is applicd to raise detection performance, and distributed mechanism is employed to increase the scalability and efficiency. Host- and network based mining algorithms employ an improved Bayesian decision theorem that suits for real security environment to minimize the risks incurred by false decisions. We describe the overall architeeture of thc MA-IDS system, and discusss pecific design and implementation issue.     

离群点分析在高校能耗监控系统中的应用

节能是当今社会面临的重大课题,高校作为能源大户以及教书育人的基地,必须在能耗监控系统中起到领先示范的作用。在节能分析系统中,能耗的预警预测是关键,因此,异常点的发现与分析,为预警提供了直接的依据,是整个系统的基础。在数据挖掘中,离群点检测分析可以通过多种方法实现,本文应用了基于统计分布的离群点检测方法,但由于在实际情况中,能耗数据的变化与社会各类群体的生活习性、工作周期相关,这些复杂性决定了在数据分析中,只能根据实际的业务来检验分析结果的正确性。本文通过对某高校的能耗进行基于统计分布的离群点分析,并结合校园能耗规律,得出在高校中能耗的异常情况并报警,以达到节约能耗的目的。     

基于均值漂移模型的异常值检测方法

由于异常值的存在对统计推断有很大影响,因此异常值检测是数据分析中的一个重要步骤。对于横截面数据的线性模型,改写模型的设计矩阵后,基于均值漂移模型,利用系数压缩估计方法来进行异常值检测。由于系数压缩估计中调节参数的选择对检测效果有很大影响,基于两种调节方法的加权,提出了一种新的调节方法。数值模拟结果表明,使用这种基于均值漂移模型的异常值检测调节方法,可以显著降低犯两种错误的概率。     

一种改进的离群点检测方法

现有的离群点检测算法运用于规模较大的数据集时,其时间效率和检测效果通常不够理想.通过对离群点分布特征的分析,在计算每个数据点到其kth最近邻对象距离的同时,结合其k最近邻的分布情况,给出一种改进的离群点度量方法.基于上述思想构造的离群点检测算法DokOF能够处理混合属性数据.实验表明,该算法具有良好的适用性和有效性.     

基于图的情境离群点检测方法

针对异常模式挖掘中的情境离群点检测问题,提出一种基于图的检测方法.首先对数据实例构建一个实例图,然后采用一个滑动窗口穿越数据实例,对处于滑动窗口内的数据实例,计算结点之间的闵可夫斯基距离作为边权值,然后采用最小生成树聚类算法对实例图进行聚类,再采用第二个滑动窗口穿越数据实例,根据窗口内的数据实例是否属于主趋势聚类赋予不同的离群值评分,不属于主趋势聚类的数据实例被认为是潜在的离群点.仿真实验和实际数据分析表明该方法在一元序列数据检测中是切实可行的,该方法具有较好的适用性和扩展性.     

Weka平台基础类分析及算法扩展方法

分析了Weka平台的基础类结构,说明了数据运算的整体流程,并以基于频繁模式的离群点检测为例,说明了对Weka进行扩展的方法,为数据挖掘研究和应用者自定义算法实现提供基础。     

孤立点挖掘在教务管理中的应用研究

孤立点挖掘是一个重要的知识发现任务,在介绍孤立点及其挖掘算法的基础上,利用孤立点检测方法对教务管理系统中积累的数据进行分析,并提出基于距离和的孤立点检测算法。实验结果分析表明,该算法降低了检测过程对用户设置阀值的要求,在时间复杂度上,稍微优于循环一嵌套算法。     

基于偏鲁棒M-回归的间歇过程离群点检测

以多元统计分析技术为核心的间歇过程建模、在线监测逐渐成为过程工业的关注焦点,然而过程数据中存在的大量离群点将直接影响上述方法的可靠性,为此提出了一种基于偏鲁棒M-回归的间歇过程离群点检测方法.首先基于极大相关熵估计建立鲁棒预测模型;然后利用偏鲁棒M-回归算法计算模型的回归系数;最后采用Hampel识别器分析最终的权值,从而实现离群点的检测.将所提方法应用于某间歇反应过程,实验结果验证了方法的有效性.