离群数据检测研究

通过充分调研,对现有离群数据检测算法作了分析比较,总结出各算法的特点,并且探讨和展望了离群数据检测的几个热点问题,为离群数据检测算法的进一步研究打下基础。     

给水厂混凝剂智能投加模型构建与应用

选取华东地区某给水厂生产中积累的数据建立加药量预测模型,以求在给水厂中实现混凝剂的智能投加。在数据清洗时,针对水厂运行实际情况,结合局部离群因子（LOF）算法、K最近邻插补（KNN）算法与平滑滤波算法对随机误差进行处理。同时在建模前使用灰色关联度分析评估了各原水指标与混凝剂加药量的联系,对联系较为紧密的原水指标进行混凝机理的分析。模型选用BP神经网络,并使用贝叶斯优化算法对模型的参数寻优,建立了多个模型进行评估,其中最优模型在测试集6万个样本上的平均绝对误差为3.66 L/h,结果表明最优模型能够准确预测混凝剂加药量。在此基础上,展望将建立的智能投加模型应用于水厂加药系统中,帮助水厂加药系统的智能化改造方案的实施。     

异构分布式环境中的并行离群点检测算法

离群点检测是数据挖掘领域研究的热点之一,主要目的是识别出数据集中异常但有价值的数据点. 随着数据规模不断扩大,使得处理海量数据的效率降低,随即引入分布式算法. 目前现有的分布式算法大都用于解决同构分布式的处理环境,但在实际应用中,由于参与分布式计算的处理机配置的差异,现有的分布式离群点检测算法不能很好地适用于异构分布式环境. 针对上述问题,本文提出一种面向异构分布式环境的离群点检测算法. 首先提出基于网格的动态数据划分方法（Gird-based Dynamic Data Partitioning,GDDP）,充分利用各处理机的计算资源,同时根据数据点的空间位置信息进行数据划分,可有效减少网络通信. 其次基于GDDP算法,提出了异构分布式环境中并行的离群点检测算法（GDDP-based Outlier Detection Algorithm,GODA）. 该算法包括2个阶段：在每个处理机本地,按照索引中数据点的顺序进行过滤,通过2次扫描得到离群点候选集;判断候选离群点需要进行网络通信的处理机,使用较低网络开销得出全局离群点. 最后,通过大量实验验证了本文提出的GDDP和GODA算法的有效性.     

样本峰度的最大值

设X=（x1…,xn）（x1，…，xn不全相等）是来自某总体容量为n的简单样本。本文证明了样本峰度kn（X）的最大值为n-2＋1/n-1。该结论支持了作者关于峰度统计意义的观点：峰度是衡量总体数据离群度的特征量。     

基于自编码器和密度的融合离群点检测算法

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入"投票"思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SA...     

基于免疫聚类算法的离群数据挖掘

离群数据挖掘是数据挖掘研究的重要内容,在实际生活中获得广泛应用.论文结合了免疫算法全局搜索的优点和K-均值方法局部收敛速度快的特点,提出了一种基于免疫聚类算法的离群数据挖掘方法,有效地克服了传统聚类方法对初始化敏感、容易陷入局部最优等缺点,使聚类结果能够快速收敛到全局最优,有效地检测离群数据.实验结果表明,该方法实用有效的.     

高维离群检测算法及其应用

离群检测的目的在于找出隐含在海量数据中相对稀疏而孤立的异常数据模式.由于高维数据的特殊性,传统的离群挖掘算法往往不适合发掘高维空间中的离群点.本文将蚁群算法用于改进超图模型,提出了一种新的离群检测算法--AHHDOD算法,在检测出离群数据模式的同时给出离群点的归属.经检验,该算法能有效收敛于最优解,且其时间复杂度更低.最后,将该方法应用于矿难预警检测中,能对可能出现的危机状况给出预警提示.实验证明,该方法取得的预警结果是可信的和可接受的.     

一种基于集体离群点检测变速箱故障的方法

针对变速箱故障机理复杂、信号分析较难获取充足异常样本标签的问题,提出一种基于集体离群点检测故障的方法。首先以多元高斯混合函数拟合正常样本数据集和测试数据集分布,其次采用不动点迭代算法求解似然估计函数,搜索出数据分布函数的最优参数,最后通过数据分布趋势对比挖掘测试数据集中的集体离群点。实验环节对包含8种故障类型的变速箱工作数据集进行测试,故障识别率均在90%以上。结果表明,该诊断方法可以在事先不了解故障机理的情况下,挖掘出数据集中表征变速箱故障的异常数据序列。     

基于离群点检测的电网项目关键节点预警算法

为解决当前存在的风险预警误差大、精确度和稳定性低的问题,提出了基于离群点检测的电网项目关键节点预警算法。采用离群节点预警衡量指标,计算静态离群节点和离群节点任务重要度指标。利用层次分析法和熵权法,结合多指标融合加权,提取关键离群节点特征,完成关键节点识别。使用K-means聚类电网关键节点预警过程,将电网关键节点的融合权值特征,代入离群点检测系统中分析数据输出结果,获取聚类最优值,实现电网项目关键节点预警。实验结果表明,所提方法的风险预警稳定性和精确度较高,能有效减小风险预警误差。