基于局部最大距离的孤立点检测算法的研究

孤立点检测是数据挖掘研究中的一项重要内容,其目标是发现数据集中行为异常的数据对象．本文在局部稀疏系数算法的基础上提出了基于局部最大距离的局部孤立点检测算法,该算法提出检测孤立点只需计算它的最近邻居对象的最大距离．实验结果表明,该算法发现局部孤立点是高效的。     

孤立点检测在零售业中的应用与研究

文章讨论了孤立点检测在零售业中的应用,并在基于距离和的孤立点检测算法基础上,对孤立点的具体位置做了进一步的确定,结合实际数据进行了验证分析,分析结果表明,此方法不仅可以有效的检测出零售业中消费者购买行为的波动情况,而且可以确定出孤立点的位置。     

基于DS的孤立点检测在瓦斯浓度判定中的应用

对几种孤立点检测算法进行介绍,总结它们的特点.针对孤立点检测算法的一些弊端和瓦斯浓度的实际情况,选择一个基于DS(距离和)的孤立点检测算法实现对瓦斯浓度的异常数据进行分析处理,找到真正的异常数据,保证煤矿安全预警的准确性.     

一种改进的基于距离的孤立点挖掘算法的研究

对经典的基于距离的孤立点挖掘算法进行了改进,引入"关键属性",即减少了挖掘的数据量,从而提高了孤立点挖掘的效率,并且改进常用距离度量,用改进的加权曼式距离进行计算,降低了数据分布不均给检测结果带来的影响,同时改进后的挖掘算法在不影响挖掘结果的情况下取消了对参数设置的要求,给出了孤立点孤立的程度.     

基于距离和的孤立点检测在税务系统中的应用

在基于距离的孤立检测算法的基础上,讨论了基于距离和的孤立点检测算法,并将CURE聚类算法中使用的抽样算法应用于对该算法中的数据抽取,并创新地将该算法应用于纳税行为分析.结果表明,此算法可以有效地检测出纳税行为中的异常现象即孤立点,对纳税行为的分析有非常有效的作用.     

利用聚类算法找出新的攻击

改进了利用聚类算法查找孤立点的算法，提出在应用到入侵检测的过程中应该结合领域知识、考虑数值性质，这样可以提高检测质量。通过对收集到的网络数据的属性进行计算，找出其中的孤立点，可以使得检测系统在不需要手工编码和标识的训练数据前提下就能检测出攻击。最后通过比较多组实验数据，提出了一种比较有效的检测策略。     

一种改进的聚类和孤立点检测算法

对基于距离的聚类及基于密度的孤立点检测方法进行了分析研究,提出了一种基于距离和密度的聚类和孤立点检测算法DDBCOD.该算法根据距离和密度阈值对数据进行聚类,并发现数据中的孤立点.实验表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好地识别出孤立点.     

基于改进距离孤立点检测预处理的LTSA算法

局部切空间排列算法(LTSA)是一种有效的流形学习方法,但该算法对孤立点的存在非常敏感.本文提出了一种快速有效的数据预处理方法-基于改进距离的孤立点检测方法来降低孤立点对LTSA算法的影响.该方法通过改进距离来度量样本点之间的距离,降低了样本点分布不均给孤立点检测算法带来的影响.实验表明,该数据预处理方法能有效地提高LTSA算法的鲁棒性,可以更好的挖掘数据集的本征特性,具有更好的数据可视化效果.     

改进的KNN分类异常点检测方法

针对入侵检测中异常点误报率较高的问题,提出了改进KNN与异常点检测算法相结合来处理数据的方法,以降低入侵检测误报率.该方法首先采用卡方特征选择方法进行数据特征选择,其次采用孤立森林、距离、局部异常因子(IDL)结合查找出异常点,然后使用SMOTE平衡数据,使得所有的样本达到一个类平衡状态,再采用KNN分类.最后采用公开...     

孤立点挖掘在教务管理中的应用研究

孤立点挖掘是一个重要的知识发现任务,在介绍孤立点及其挖掘算法的基础上,利用孤立点检测方法对教务管理系统中积累的数据进行分析,并提出基于距离和的孤立点检测算法。实验结果分析表明,该算法降低了检测过程对用户设置阀值的要求,在时间复杂度上,稍微优于循环一嵌套算法。     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。     

基于瀑布型混合技术的异常检测算法

针对隔离森林(iForest: isolation Forest)算法对局部异常点检测能力较低, LOF(Local Outlier Factor)算法 检测时间较长的问题, 提出了基于瀑布型混合技术的隔离森林算法 iForest-WHT(isolation Forest based on Waterfall Hybrid Technology)。 该算法借鉴瀑布型混合技术思想, 将隔离森林算法作为过滤器, 以分割路径为阈 值判断依据, 将路径小于阈值的数据放入候选异常子集, 继而使用考虑极值影响的改进的 LOF 算法对候选异 常子集进一步精化, 得到更加精确的异常点。 实验结果证明, 该算法能以较高的效率识别局部异常点, 提高了 算法的 F 1 值, 并且降低原 LOF 算法的误检率。     

一种改进的最大一致性点云几何基元拟合算法

基于MCMD_Z(maximum consistency with minimum distance and robust Z-score)算法思想,提出了一种稳健的且适用于平面、二次曲面(球、圆柱、圆锥)基元高精度拟合算法.算法依据距离和最小准则,从含有粗差的点集中选取最佳点子集拟合可靠模型初值,并采用稳健Z分数方法循环剔除粗差;对剔除粗差后的保留点集采用加权最小二乘迭代方法拟合.实验表明,对粗差含量较高的点云数据,该算法均能有效剔除粗差、拟合出高精度的几何基元.     

改进的自适应Kalman滤波在GPS/SINS中的应用

以GPS/SINS组合导航为应用背景,针对常规Kalman滤波由于先验知识不足,观测数据突变等容易引起的发散问题,提出了一种改进的自适应Kalman滤波。该算法将Sage-Huse自适应滤波和衰减记忆滤波相结合,以解决由于先验知识不足引起的滤波发散问题;在此基础上引入压缩函数,通过对野值进行有效地判断和处理以达到抑制滤波发散的目的。仿真结果表明:改进的自适应滤波算法不但可以有效地解决由于模型不够准确和野值等容易引起的发散问题,同时与传统滤波算法相比水平位置滤波精度分别提高了6倍和5.7倍,高程滤波精度提高了2.39倍,具有较好的自适应性和稳定性。     

基于聚类和局部信息的离群点检测算法

针对目前大部分离群点检测算法未考虑数据的局部信息, 导致离群点检测的准确率低问题, 提出一种新的基于聚类和局部信息的两阶段离群点检测算法. 通过定义新的局部离群因子作为判断数据对象是否为离群点的衡量标准, 改进了传统离群点检测算法的过程. 实验结果表明, 该算法在保持线性复杂度的同时, 能更准确、 有效地挖掘出数据集中的离群点.     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

基于距离和密度的聚类和孤立点检测算法

提出了一种基于距离和密度的聚类和孤立点检测算法.该算法根据距离和密度阈值对数据进行聚类,同时发现数据中的孤立点.实验结果表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好的识别出孤立点.     

基于小波变换的飞行数据清洗

飞行数据因为野点和噪声的存在给其进一步处理和利用造成了困难。提出了一种基于小波变换残差直方图分析的野点识别方法,能在时间域内精确定位野点,并具有识别少量成片野点的能力。根据飞行数据噪声的特点及去噪要求,在去噪的过程中引入边缘检测,提出了分二进小波尺度乘积和小波阈值收缩两个步骤进行去噪的方法,从而在去噪的同时很好地保留了序列极值点的特性。实验结果表明本文所提方法对飞行数据中存在的质量问题具有较好的清洗效果,野点识别准确,去噪效果良好,并且对类似其它数据的处理也有一定的应用参考价值。