变点检测问题最新进展综述

变点检测问题研究是统计学与数学、计算机科学、数据挖掘等众多学科交叉的新兴研究领域。论文详细回顾与述评了2001-2011年的最新国内外变点问题研究状况,并从不同的角度对变点检测问题进行合理分类,同时展望了变点检测问题研究的未来发展方向。     

基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

基于相似系数和的孤立点检测算法

简要介绍了一个基于相似系数和的孤立点检测聚类算法,指出了它的局限性,在此的基础上,文中提出了一个改进的算法.算法的思想是,对数据集进行标准化,然后构造一个相似系数矩阵,通过对象的相似系数之和判断对象的孤立程度.改进后的算法除了可以检测出倍数异常孤立点外,还可以检测出分量异常孤立点.     

基于异常点挖掘的聚类算法比较研究

随着人们对数据质量、欺诈检测、网络入侵、故障诊断、自动军事侦察等问题的关注,异常点挖掘在信息科学研究领域日益受到重视.本文首先给出异常点的定义,并在聚类分析的基础上对PAM算法、BIRCH算法、DBSCAN算法和CURE算法在算法效率、适合的数据类型、发现的聚类类型、对异常数据的敏感性、空间复杂性、时间复杂性、使用的方法等方面进行了比较研究,最后给出了如何使用这些聚类算法处理异常点的方法.     

异常数据挖掘在Web服务器日志文件中的应用

讨论了基于距离的异常点检测算法,分析了使用该算法进行异常点检测时效率较低、需要设置参数、算法实现困难等缺点;利用基于距离和的异常点定义方法及基于抽样的近似检测算法实现Web服务器日志文件的异常数据检测.实验结果表明了算法的有效性.     

基于DS的孤立点检测在瓦斯浓度判定中的应用

对几种孤立点检测算法进行介绍,总结它们的特点.针对孤立点检测算法的一些弊端和瓦斯浓度的实际情况,选择一个基于DS(距离和)的孤立点检测算法实现对瓦斯浓度的异常数据进行分析处理,找到真正的异常数据,保证煤矿安全预警的准确性.     

基于等距变换的三维点云相似性检测算法

本文研究目的是运用基于等距变换的三维点云相似性检测算法来为三维点云识别和分类问题提供新的方法.该研究方法利用投票空间的思想,认为相似的点对具有相同的等距变换.首先,通过B样条参数曲面拟合表达物体形状.其次,定义了一种主曲率和法向量组成的局部几何特征来匹配特征点对.计算点对特征之间的等距变换,将等距变换进行分类,比较同类等距下点对间特征的等距距离.最后,在每类等距变换下,对具有相同近似等距的点对进行基于PCA的聚类算法,从而得到相似点对之间构成的相似区域.实验研究结果显示在通过普林斯顿和TOSCA点云数据集下测试,对原始点云进行等距变换、噪声、降采样的处理后,能够检测到物体形状上的相似区域.研究结论:通过实验,验证了算法的可行性和鲁棒性,该方法简化了数据的预处理的过程,能够高效检测物体模型的相似性,对三维点云的分类和识别问题有着很好的应用前景.     

基于SVM算法的乳腺图像钙化点检测方法

提出了一种基于支持向量机(ISVM)算法的钙化点检测方法.通过对乳腺图像进行预处理并提取可能含有微钙化点的感兴趣区域(ROI),对样本ROI进行小波变换确定优化参数,利用SVM检测微钙化点.试验中研究了SVM参数的选取对分类效果的影响,并利用ROC评估准则对SVM的检测效果进行评估.结果表明,SVM在微钙化点检测中是有效的,解决了目前微钙化点检测中普遍存在的假阳性率高、效率低的问题.     

基于RGB-D 数据的实时人体检测算法

为实现体感控制器中的人体骨架识别功能, 提出了基于RGB鄄D 数据的实时人体检测算法, 并在人体检测中予以实现。首先对原始3D 点云数据进行简化, 对地平面进行移除, 然后对剩余的点云数据进行初步分类,得到人体点云数据簇, 对初步分类后的人体点云数据簇进行二次精细分类, 进而实现了地面上的多个人体的检测。该方法不仅能检测出静止的多个人体, 而且能检测行走中的多个人体。实验结果表明, 该方法实时性好, CPU 实时处理速率可达到25 帧/ s, 而且无论对于静止的人体还是行走中的人体, 该方法的人体检测准确度都能达到86%以上。     

数据挖掘中孤立点检测方法的探讨

孤立点检测在信息科学研究领域日益受到重视,本文系统地综述了数据库研究领域中孤立点检测的研究现状,对已有各种孤立点检测方法进行了阐述和比较,展望了孤立点检测未来的研究方向及其面临的挑战。     

XmR控制图的异常点检测算法研究

针对隔离森林异常点检测方法计算烦琐、耗时长等不足,提出基于XmR控制图的异常点检测算法.通过计算样本属性的单值均值、移动极差及其均值,绘制X图与mR图的控制界限和中心线,同时在图中绘制样本的单值属性;根据X图中超出界限的点对应的样本序号,与mR图中超出界限的点对应的样本序号加1,取并集,从数据中将其删除,然后将删除异常点后的数据代入CART、随机森林和支持向量机算法中进行实验验证.结果表明该方法与隔离森林方法相比具有更快的速度和更好的精度,为异常点检测提供了一种新的研究思路.     

散乱点云数据区域分割综述

点云数据的区域分割是CAD模型重建的基础.对散乱点云数据区域分割的概念、准则、分类及研究现状进行了综述,总结了这些分类方法的基本思想并加以分析比较,最后对点云分割技术的发展动态作了介绍,并对未来研究作了展望.     

基于局部最大距离的孤立点检测算法的研究

孤立点检测是数据挖掘研究中的一项重要内容,其目标是发现数据集中行为异常的数据对象．本文在局部稀疏系数算法的基础上提出了基于局部最大距离的局部孤立点检测算法,该算法提出检测孤立点只需计算它的最近邻居对象的最大距离．实验结果表明,该算法发现局部孤立点是高效的。     

一种有效的不变性角点检测方法

在图像形态分类与识别系统中，不变性角点检测是很重要的预处理环节，为有效检测角点，并对之精确定位，本文着重介绍一种基于小波变换的不变性角点检测方法。该方法先对轮廓上各点的切向方向进行小波变换，然后提取出变换幅度的局域最大值点作为待定角点。接着，根据待定角点类型建立相对应的模型，并根据模型对待定角点的直伪进行评判，实验表明，上述方法既能正确检测到角点，又能大大提高计算效率。     

基于滑动窗口的奇异点数据挖掘算法研究

在一条时间序列上与其它序列点存在显著差异的点,被称为奇异点.提出了一种基于滑动窗口的奇异点挖掘算法,该算法利用局部异常因子检测的方法检测出时间序列中的奇异点,再利用移动平均模型对奇异点的趋势进行判断,这样能更直观的看出奇异点对时问序列趋势的影响.通过对证券信息点和上证指数收盘点数构成的时间序列进行分析,结果表明该算法的...     

空间混合自回归模型的局部影响分析

基于一阶导数方法,对空间混合自回归模型进行局部影响分析.当模型中误差向量的均值发生扰动时,依据极大似然方法对模型中自回归系数ρ和方差σ2分别构造了检测强影响点或异常点的最大影响方向dmax,ρ和dmax,σ2.数据模拟研究表明,基于dmax,σ2的检测效果明显优于dmax,ρ的效果.同时,对一个实际数据的分析,说明所得结果在实际研究中也是有用的.     

变点检测和控制图在数据业务监控中的应用

为实现对数据业务支撑系统的有效监控,通过剖析数据业务特点,提出了用控制图和变点监测发现数据业务中存在的异常。变点监测在处理三种类型的时间序列时存在不足,本文通过增加控制参数——变化率,对变点检测算法进行了改进,改进后的方法适应性更高,并且误报率大大降低。最后比较了控制图和变点检测方法的优缺点及各自的应用场景。     

改进的KNN分类异常点检测方法

针对入侵检测中异常点误报率较高的问题,提出了改进KNN与异常点检测算法相结合来处理数据的方法,以降低入侵检测误报率.该方法首先采用卡方特征选择方法进行数据特征选择,其次采用孤立森林、距离、局部异常因子(IDL)结合查找出异常点,然后使用SMOTE平衡数据,使得所有的样本达到一个类平衡状态,再采用KNN分类.最后采用公开...     

基于词袋模型的监控视频异常活动检测算法

针对监控视频异常活动检测算法检测准确率与鲁棒性较低的问题,提出了一种基于词袋模型与无向图建模的视频异常活动检测算法.(1)将输入视频划分为大小相等的视频片段,提取每个视频片段的时空兴趣点;(2)生成一个局部活动的无向图集,图的顶点表示时空兴趣点,边表示兴趣点之间的关系;(3)分别对局部异常活动和全局异常活动进行分类处理,识别出异常活动.基于公共数据集UMN的仿真实验结果表明,本算法对视频监控中异常活动具有较好的检测准确率.     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。