基于有权重超图的离群点检测

基于有权重支持度框架的关联规则挖掘算法和超图分割算法, 给出一种新的基于有权重超图模型的离群点检测算法WHOT(Weighted Hypergraph based Outlier Test). WHOT算法根据有权重支持度的定义, 重新设计了基于有权重支持度框架的关联规则挖掘算法, 并挖掘出数据集中的重要关联规则, 形成超图. 在超图上应用超图分割算法, 得到聚类集合, 再结合项权重和事务权重的定义, 判断一条记录是否为离群数据.     

基于离群点检测的鲁棒局部切空间排列方法

研究局部切空间排列方法(LTSA)对离群点的敏感性,提出一种基于离群点检测的鲁棒局部切空间排列方法(RLTSA).该方法用样本点到切空间的投影距离检测离群点.在构造样本点局部邻域时,RLTSA尽可能排除离群点,以构造稳定的局部邻域,而对离群点,RLTSA把它们投影到更高维的切空间,以减少离群点的投影距离. 模拟实验和实际例子说明,新方法能提高局部切空间排列方法处理离群样本点的能力.     

分析测试中离群数据的检验与取舍

本文介绍了对分析测试中离群数据进行统计学检验的方法,编制了相应的计算机程序,列举了应用实例。     

一种离群数据集延伸知识发现框架

现有离群数据研究主要集中于离群检测.为了对离群数据的来源、分类、含义、行为特征以及离群趋势等进行全面分析,以现有离群挖掘技术为基础,结合已提出的离群约简与关键域子空间等一系列概念及其搜索算法,定义了离群最近邻、原子离群类及离群变异类等概念,提出了离群簇分析及离群趋势分析方法,建立了一种完整的离群数据集特征描述及延伸知识发现的整体框架.通过对移动通信业务数据的离群分析进行具体讨论,表明了这种离群延伸知识发现框架在实际应用中的有效性.     

基于信息熵的相对离群点的检测方法:ENBROD

提出一种检测离散属性数据集中相对离群点的算法.目前已有的关于离群点的检测方法大多关注连续属性的数据集,由于离散属性值之间并没有类似于连续属性值之间那样固有的距离度量关系,故不能简单的把用于连续属性数据集的检测算法应用到离散属性数据集中来.本文首先引入了一种新的信息熵增量的概念--去一划分信息熵增量,通过形式化分析得到了其性质.然后,在去一划分信息熵增量的基础上,给出了每个对象所对应的相对离点群因子(ROF)的定义.每个对象的ROF是相对的,因为其只取决于这一对象的邻域.接着,提出了ENBROD算法来实现对ROF的计算.最后,通过实验说明当邻域大小较小时,ENBROD算法可以找到已存在的方法所找不到的相对离群点;而当邻域的大小足够大时,ENBROD算法寻找全局离群点的能力也与其他的一些离群点检测算法的能力相近.     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

基于K －均值聚类的混合聚类算法

K-均值聚类算法是聚类算法中比较典型的算法之一,在其各类改进算法中都受到了离群点、初质心、类个数等因素的干扰。本文利用相似密度提出一种新的聚类初始质心选取和离群点判别方法,对K-均值聚类算法进行了改进。通过实验证明改进算法提高了聚类的有效性和稳定性。     

企业电能耗的BP神经网络预测模型

在我国节能减排的大环境下,企业的电能耗预测问题一直都备受关注.准确预测电能耗对企业决策有重要的意义.本文以鞍山某矿山公司电能耗历史数据为研究对象,通过Grubbs检验进行数据的离群检测,以剔除某些失真数据,并用主成分分析法对电能耗的影响因素进行降维处理,建立了BP神经网络的电能耗预测模型.利用Matlab对数据分析,给出了该公司未来一年内各月份的电能耗情况.     

Weka平台基础类分析及算法扩展方法

分析了Weka平台的基础类结构,说明了数据运算的整体流程,并以基于频繁模式的离群点检测为例,说明了对Weka进行扩展的方法,为数据挖掘研究和应用者自定义算法实现提供基础。     

基于聚类和局部信息的离群点检测算法

针对目前大部分离群点检测算法未考虑数据的局部信息, 导致离群点检测的准确率低问题, 提出一种新的基于聚类和局部信息的两阶段离群点检测算法. 通过定义新的局部离群因子作为判断数据对象是否为离群点的衡量标准, 改进了传统离群点检测算法的过程. 实验结果表明, 该算法在保持线性复杂度的同时, 能更准确、 有效地挖掘出数据集中的离群点.