基于属性熵和加权余弦相似度的离群算法

离群点检测是数据挖掘的一个重要研究方向,大多数离群数据挖掘算法在应用到高维数据集时效率较低。给出了一种基于属性熵和加权余弦相似度的离群数据挖掘算法LEAWCD.该算法首先根据局部属性熵分析每个对象在其k-邻域内的局部离群属性,并依据各离群属性的属性偏离度自动设置属性权向量;其次使用对高维数据有效的余弦相似度经加权后度量各对象在k-邻域内的离群程度,实现高维局部离群点检测;最后采用国家天文台提供的天体光谱数据作为数据集,实验验证了LEAWCD算法具有伸缩性强和检测精度高等优点。     

基于流形学习的离群点检测方法

为了提高高维数据集合离群数据挖掘效率,提出了一种基于流形学习的离群点检测算法。局部线 性嵌入（ locally linear embedding, LLE）算法是流形学习中有效的非线性降维方法,它的优势在于只定义唯一的 参数,即邻域数。根据LLE算法的思想寻找样本数据的内在嵌入分布,并通过邻域数选取和降维后数据点之 间的距离调整,提高了数据集中离群点发现效率,同时利用离群点权值判别式进行权值数据判定,根据权值 的大小标识出数据集中的离群点,仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点。 与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一 条新的途径。     

基于几何特征的学生评教数据离群点检测算法

针对学生评教数据中的离群点问题,根据消极评教数据产生的方式及特点,提出了一种基于几何特征的学生评教数据离群点检测算法.该算法通过分析样本的几何特征,计算样本的离群程度,完成离群点检测,共分为3步进行:(i)依据教学质量评价数据,在几何特征空间中建立样本的点映射;(ii)从形状相似度、距离相似度2个方面构建判别空间,对几...     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.     

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.     

应用相似度测量的图离群点检测方法

针对传统离群点检测方法精确度不高的问题,提出了一种同时基于全局和局部视野综合考虑的离群点检测方法,并将其成功应用于事务图数据集的离群点检测。该方法利用极大公共频繁子图来测量任意两个事务图之间的相似度,提出利用基于公共近邻的裁剪方法对相似矩阵进行裁剪,通过计算数据结点的往返距离得出各个结点的离群值评分,弥补了传统基于稳态分布随机游走的离群点检测方法的缺陷。实验结果表明:该方法在事务图数据离群点检测方面的性能明显优于基于subdue的方法,精确度和错误报警率以及召回率提高了约10%。     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

基于有权重超图模型的离群点发现

结合基于有权重支持度框架的关联规则挖掘方法和基于超图模型的离群点检测方法,给出了一种离群数据的改进定义,并通过一个简单的实例说明了这种离群数据的离群含义,且与原离群点定义做了比较,分析了新定义离群数据的应用价值.     

一种改进的离群点检测方法

现有的离群点检测算法运用于规模较大的数据集时,其时间效率和检测效果通常不够理想.通过对离群点分布特征的分析,在计算每个数据点到其kth最近邻对象距离的同时,结合其k最近邻的分布情况,给出一种改进的离群点度量方法.基于上述思想构造的离群点检测算法DokOF能够处理混合属性数据.实验表明,该算法具有良好的适用性和有效性.     

基于Hadoop的时空离群点挖掘研究

时空离群点挖掘作为空间数据挖掘中的一个重要分支,为了找到与时空邻居对象有显著差别的时空对象,他们的数量很少,非常容易被当做数据噪声而被忽略,然而挖掘时空离群点能够发现意想不到的有意义的时空模式。在对现有的时空离群点挖掘进行研究时,我们发现挖掘对象通常是海量空间数据,因此研究合适的并行算法弥补串行算法的效率不足势在必行。     

服务于智能交通系统的离群交通数据识别

为了提高交通建模的准确性和可靠性,或者提取重要的有价值的隐藏信息,将离群数据挖掘技术引入交通数据处理.首先分析了3种典型的离群数据挖掘算法:基于统计的方法、基于距离的方法以及基于密度的方法的原理、特点和时间复杂性;其次给出了2个实例分析,一是在建立交通流量预测模型前,将基于统计的方法和基于距离的离群检测方法分别用于交通量时间序列,寻找离群数据;二是将基于距离的方法和基于密度的方法用于路面平整度检测.实例研究表明,离群数据挖掘算法可有效识别异常交通数据,在交通工程领域具有较大的应用潜力.     

基于Bayesian方法的参数估计和异常值检测

异常值检测是当前数据分析研究中的一个重要研究领域。模型中的异常值会直接影响建模、参数的估计、预测等问题。基于模型的异常值检测,传统的做法是先对模型参数进行估计,再进行异常值检测。而异常值的存在会影响参数估计,从而导致下一步异常值检测的不可靠;反之异常值检测也会影响参数估计。针对这些不足之处,提出了基于 Bayesian 方法的参数估计和异常值检测,此方法可以将参数估计和异常值检测同时实现,具体做法是在线性回归模型中引入识别变量,基于 Gibbs 抽样算法,给出识别变量后验概率的计算方法,通过比较这些识别变量的后验概率进行异常值定位,同时给出参数的估算方法。通过大量的模拟实验,结果表明,与传统方法相比,提出的方法对异常值更灵敏。     

抗野值多速率模型及交互式状态估计

基于HongLong多速率模型,引入小波变换进行奇异值检测,快速剔除野值;利用子波分解抽取多速率信息用于状态估计,建立了抗野值多速率模型,结合交互式多模型算法,形成野值条件下的机动目标状态估计算法。仿真结果表明,该算法对观测中的野值有良好的抗干扰性,并且通过抽取观测序列包含的多速率信息实现了对目标状态的精确估计。     

具有异方差的线性回归模型的统计诊断

为了诊断具有异方差的线性回归模型的异常点,建立了具有异方差的均值漂移模型和数据删除模型.采用Score诊断统计量对具有异方差的均值漂移模型的均值是否漂移进行诊断,证明了异方差存在条件下均值漂移模型和数据删除模型的等价性.这一结果表明,在诊断具有异方差的线性回归模型的异常点时,可考虑采用更加便于处理的均值漂移模型.最后,用Score诊断统计量对镀锌数据进行了异常点的诊断.     

改进的自适应Kalman滤波在GPS/SINS中的应用

以GPS/SINS组合导航为应用背景,针对常规Kalman滤波由于先验知识不足,观测数据突变等容易引起的发散问题,提出了一种改进的自适应Kalman滤波。该算法将Sage-Huse自适应滤波和衰减记忆滤波相结合,以解决由于先验知识不足引起的滤波发散问题;在此基础上引入压缩函数,通过对野值进行有效地判断和处理以达到抑制滤波发散的目的。仿真结果表明:改进的自适应滤波算法不但可以有效地解决由于模型不够准确和野值等容易引起的发散问题,同时与传统滤波算法相比水平位置滤波精度分别提高了6倍和5.7倍,高程滤波精度提高了2.39倍,具有较好的自适应性和稳定性。     

差分辅助中值滤波外弹道野值检测与剔除方法

针对中值滤波对连续型野值检测与剔除性能不理想的问题,提出了一种差分辅助中值滤波方法,并将其应用于外弹道测量数据的野值检测与剔除工作中。中值滤波方法对孤立型野值检测和剔除表现出很好的稳健性,但是当观测数据中野值点连续分布时,中值滤波方法往往无效。利用差分方法可以改变观测数据中野值点的分布。在此基础上利用中值滤波方法进行野值检测和剔除可获得更好的效果。计算机仿真和实测数据处理结果证明,差分辅助中值滤波野值剔除方法不仅对孤立型野值有效,同样适用于连续型野值检测和剔除。     

基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

基于图的空间例外检测算法研究

 空间例外检测可以发现许多意想不到的潜在知识.已有的空间例外检测算法都是在多维几何数据集合中进行的文章在图结构数据集合中发现空间例外.首先,结合空间数据的特点并基于DB(ρ,d)例外的定义提供了基于相异度的空间例外SDB(ρ,d)例外的形式化定义,然后给出了相应的空间例外挖掘算法.     

离群数据集延伸知识发现研究

以现有离群挖掘技术为基础,结合已提出的离群约简与关键域子空间等一系列概念及其搜索算法,定义了离群最近邻、原子离群类及离群变异类等概念,提出了离群簇分析及离群趋势分析方法,建立了一种完整的离群数据集特征描述及延伸知识发现的整体框架CEKDO,以期对离群数据分类、产生来源、含义、行为特征以及离群趋势等进行全面分析,提出了离群分析的步骤。通过对移动通信业务数据的离群分析进行具体讨论,说明了这种离群延伸知识发现框架的实际应用。     

运动目标的快速检测、跟踪和判别

为完成自然环境中大范围的环境监控 ,实现了一个运动目标检测、跟踪和判别系统。该系统利用一个固定平台上的、有 3 60°旋转和一定俯仰的两自由度摄像机监视自然环境 ,利用 2 -D仿射模型和鲁棒参数估计的主运动分析得到背景运动参数 ,能够在短时间内完成 3 60°全景图的拼接 ,并能利用出格点检测和聚类自动检测、通过限制搜索范围的检测和维护运动目标缓冲池主动跟踪运动目标 ,还能按目标区域的周期性变化判别目标种类 (人或车辆 )。实验表明 ,系统能够实时可靠地检测、跟踪运动目标并完成判别 ,满足特定的监控要求。另外 ,该运动目标判别方法简单可靠 ,其结果可作为视频序列识别和检索的一项重要特征