基于特征恢复的离群点移除算法的研究

点云预处理是点云处理很重要的一个环节,在移除稀疏离群点的过程中,点云密度不均会造成有用信息的过度删除。针对这个问题,提出了一种基于特征恢复的离群点移除算法。首先使用传统基于统计的k邻域稀疏离群点移除算法移除稀疏离群点,然后针对过度删除的情况采用RANSAC算法对点云特征进行恢复。实验结果表明,经过恢复的点云数据,相对于单纯依靠传统离群点移除算法处理后的点云数据,过度删除现象有明显改善。由此得出,基于特征恢复的离群点移除算法可以有效删除稀疏离群点,减小对噪声阈值的依赖,同时有效抑制了由于密度不均匀导致的点云数据的过度删除。     

基于离群点剔除的SVM信用风险评价方法

针对信用评价数据存在离群点和噪声问题, 提出一种基于离群点剔除的支持向量机（SVM）信用风险评价模型. 该模型利用模糊c-均值聚类算法剔除样本离群点, 采用粒子群算法优化支持向量机分类参数, 进而提高支持向量机的分类性能. 将该方法应用于信用风险评价中的结果表明, 相比于其他模型, 该方法分类精度更高.     

基于层次分析法的加权LOF窃电检测方法研究

为解决传统窃电检测方法的局限性,本文提出一种基于层次分析法的加权LOF窃电检测方法。该方法首先通过对窃电现象的系统分析,提出新的用电特征指标,构建合理的窃电嫌疑评价体系;其次针对各电气指标数据异常所能代表窃电的不同概率,采用层次分析法合理量化各电气指标的权重,并结合加权LOF算法对海量用户数据进行加权离群分析,使用综合离群因子表征用户窃电嫌疑程度。最后通过实测数据验证,结果表明所提检测方法相较传统LOF算法在较低检测率时能够挖掘出更多的窃电用户,进而提升采集系统的窃电检测效率。     

基于微粒群和子空间的离群数据挖掘算法研究

传统的离群数据挖掘方法大多数是利用全局的观点看待离群数据,很难发现低维子空间中的偏移数据.利用微粒群算法(PSO)具有简单,容易实现并且没有许多参数需要调整等优势,提出了一种基于PSO和子空间的离群数据挖掘算法(OM-PSO).该算法首先将子空间看作微粒,根据偏离数据所在子空间的稀疏系数,采用带有变异算子的PSO算法来搜索子空间,并将子空间中的数据看作为局部偏离数据,即离群数据;最后采用离散化的天体光谱数据作为数据集,实验结果验证了该算法的有效性.     

不确定数据流上的离群点检测处理

提出了一种快速不确定数据流上的离群点检测算法. 采用分层次划分思想给出了适用于流式数据的索引构建方法,并为索引结构中的叶子结点增加了部分存储信息,使得在数据更新时新流入的数据点可以利用中间结果信息直接完成批量过滤,降低计算成本. 通过分析离群概率值求解的递推规律,给出了一种全新的离群概率值求解方案,该方案可以最大可能地避免全近邻集合的迭代计算,减少了大量的非离群点计算代价,从而加快处理速度. 实验结果表明,快速不确定数据流上的离群点检测算法能够有效地提高检测效率.     

基于相交关系的GML空间线对象离群检测算法

提出了一种基于相交关系的GML空间线对象离群检测算法DOL-IR,该算法首先计算GML线对象与其他空间对象的相交关系,定义基于相交关系的相异度,将其作为空间线对象之间距离的度量准则,利用DBSCAN聚类算法检测离群的基于空间相交关系的线对象.实验结果表明,算法DOL-IR能准确地检测出离群的基于空间相交关系的线对象,并具有较高的效率.     

峰度统计意义的探讨

峰度通常被认为是衡量一个分布尾重的量，一些作者认为峰度是衡量分布在均值附近尖峰度的量。设已有总体样本X1，…，Xa,样本峰度记为Kn。关于样本均值牙对称地投入两个点X（n＋1），X（n＋2），得到新的样本x1,…,x（n-2）应的样本峰度记为k（n-2）。本文讨论了随着投入点x（n＋1），x（n＋2）的位置不同，k（n＋2）相对于屯的变化情况，并通过这种变化来探讨总体峰度的统计意义，认为峰度是总体离群数据离群度的度量。     

GDLOF:基于网格和稠密单元的快速局部离群点探测算法

为了适应高维大规模数据集的稀疏性,解决现有离群点探测算法在运用于高维大规模数据集时计算量以及时间效率均无法令人满意的现状,区别于以往文献中以点的数量作为判断稠密的阈值,在基于密度的局部异常检测算法LOF的基础上,以通过数据集中每一点周围的邻近点的状况作为判别依据,提出了稠密单元和稠密区域的概念以及基于网格和稠密单元的快速局部离群点探测算法.通过证明稠密单元和稠密区域中的点不可能成为离群点,使得算法减少了LOF值的计算量并显著提高效率.实验表明,该算法对于高维大规模数据集具有良好的适用性和有效性.     

基于鲁棒学习的鲁棒RBF神经网络

提出了一种基于鲁棒学习的鲁棒RBF神经网络。使用聚类方法选择RBF网络隐结点的中心,以鲁棒代价函数为目标函数,采用梯度下降法调整隐层结点的宽度和网络权值,从而使RBF网络的学习过程不受离群点的影响,并且能够快速收敛。仿真实验结果表明了RBF神经网络的鲁棒优越性。     

基于分阶段离群点检测的电力市场异常辨识

为了监管电力市场中存在的各类违规行为,保证市场的公平竞争,提出了一种基于分阶段离群点检测算法的电力市场异常行为辨识方法.梳理不同交易阶段异常行为的特征,提取相应的特征指标,采用主成分分析法对其进行降维,分阶段地进行异常行为的检测.同时利用平均距离改进局部离群因子算法,显著地提升了算法的检测效果.通过某地区电力市场提供的交易数据进行实验分析,实验结果表明,该方法能有效识别市场中的异常行为,为市场监管人员利用海量数据进行有效监管提供了新思路.