基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

基于异常检测的入侵检测技术

对目前的异常检测技术进行了全面概述, 按照采用的不同技术将异常检测分为基于统计、 基于机器学习和基于数据挖掘3种, 阐述了各种异常检测技术的特征, 并描述了目前基于异常入侵检测系统用到的各种算法及其实现方法. 通过实验结果, 比较了各种算法的检测效果.     

基于孤立森林算法的电能量异常数据检测

随着电力系统信息化建设的深入,用户对于电能量数据的质量要求逐渐提高,因此保证海量电能量数据的准确性、可靠性以及完整性具有重要意义.本文采用一种基于孤立森林的异常检测算法,实现大规模电能量数据的异常检测.孤立森林算法通过划分大规模电能量数据集,生成随机二叉树和孤立森林构建模型,通过计算测试电能量数据样本到每棵树的根结点的距离检测异常数据点.该算法不仅能够快速处理海量数据,而且结果准确、可靠性高.本文在大规模电能量数据的正向有功总电量PAP和反向有功总电量RAP字段上进行检测,实验结果表明,该算法检测效率较高,并具有较高的检测正确率.     

基于DS的孤立点检测在瓦斯浓度判定中的应用

对几种孤立点检测算法进行介绍,总结它们的特点.针对孤立点检测算法的一些弊端和瓦斯浓度的实际情况,选择一个基于DS(距离和)的孤立点检测算法实现对瓦斯浓度的异常数据进行分析处理,找到真正的异常数据,保证煤矿安全预警的准确性.     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

粗糙集理论中基于距离的异常检测

针对现实世界中的不确定与不完整数据,根据粗糙集理论的框架提出了一种基于距离的异常检测方法.由于粗糙集理论是处理不确定性与不完整性的一种有效工具,因此该方法可以从不确定与不完整的数据中高效地检测出异常.另外,定义了2种特定的距离度量,用来计算2个对象之间的距离.最后,对粗糙集理论中基于距离的异常检测算法也进行了讨论.     

基于BIRCH-LKD的在站车辆中时异常检测算法

针对铁路车辆在站中转作业异常较多的情况,提出基于BIRCH-LKD的在站车辆中时异常检测算法.该算法以车辆中时序列为研究对象,不考虑异常值的具体形式,对序列分组,引入中时序列特征向量,做类球形簇转化;采用基于划分的显性异常检测方法得到中时序列特征向量的聚类特征树,查找序列显性异常,缩小异常检测范围;利用隐性异常检测算法计算剩余数据对象的K距离,根据距离差值变化规律,筛选序列隐性异常;最后,利用中时序列中位数异常判定条件,排除下界异常,实现中时序列的异常检测.实验结果表明,该算法检出率高,能够快速识别中时序列异常值,有效率达85%以上,去除异常值后的中时序列符合实际情况的趋势且更加平稳.      

基于密度的异常检测算法在入侵检测系统中的应用

给出了异常的定义,介绍了几种典型的异常检测算法并比较它们的优缺点,发现基于密度的异常检测算法的局部异常观点较符合现实生活中的应用.阐述了基于密度的异常检测算法的定义及其在入侵检测系统中的具体应用.     

面向生产设备实时监控的数据挖掘技术的研究

介绍了异常检测技术及算法,并将基于距离的异常检测技术与基于密度的异常检测技术结合起来应用于制造业设备状况和产品质量的实时监控;提出了实时监控的系统框架;结合点焊机焊接过程的监控,对该方法及其有效性进行了说明和验证。     

基于分阶段离群点检测的电力市场异常辨识

为了监管电力市场中存在的各类违规行为,保证市场的公平竞争,提出了一种基于分阶段离群点检测算法的电力市场异常行为辨识方法.梳理不同交易阶段异常行为的特征,提取相应的特征指标,采用主成分分析法对其进行降维,分阶段地进行异常行为的检测.同时利用平均距离改进局部离群因子算法,显著地提升了算法的检测效果.通过某地区电力市场提供的交易数据进行实验分析,实验结果表明,该方法能有效识别市场中的异常行为,为市场监管人员利用海量数据进行有效监管提供了新思路.