基于稳健回归的激光视觉异常值识别

针对激光视觉系统在棒材轮廓测量过程中出现的异常值,提出一种基于稳健局部加权回归与3σ准则的异常值识别法。该方法利用稳健局部加权回归进行数据平滑,通过计算被测数据与平滑数据的残差值,依据3σ准则识别出轮廓异常值。利用该方法对激光视觉测量过程中出现的轮廓孤立异常值进行了判别,并与移动均值识别法进行了对比。实验讨论了不同窗宽下,该方法的异常值识别效果,以其识别多孤立异常值的能力。随后对异常值处理前、后的轮廓数据进行了拟合,并对拟合效果和拟合精度进行了对比分析,分析结果表明,异常值处理后的拟合椭圆更为准确,拟合精度大幅提高。实验证明基于稳健局部加权回归的异常值识别法能有效识别轮廓数据中的异常值,与现有异常值识别法相比,是一种高效、稳健的异常值识别算法,对提高激光轮廓测量精度,实现轮廓尺寸的准确测量具有重要意义。     

基于Bayesian方法的参数估计和异常值检测

异常值检测是当前数据分析研究中的一个重要研究领域。模型中的异常值会直接影响建模、参数的估计、预测等问题。基于模型的异常值检测,传统的做法是先对模型参数进行估计,再进行异常值检测。而异常值的存在会影响参数估计,从而导致下一步异常值检测的不可靠;反之异常值检测也会影响参数估计。针对这些不足之处,提出了基于 Bayesian 方法的参数估计和异常值检测,此方法可以将参数估计和异常值检测同时实现,具体做法是在线性回归模型中引入识别变量,基于 Gibbs 抽样算法,给出识别变量后验概率的计算方法,通过比较这些识别变量的后验概率进行异常值定位,同时给出参数的估算方法。通过大量的模拟实验,结果表明,与传统方法相比,提出的方法对异常值更灵敏。     

二值数据下模型和异常点的同时识别

讨论了基于贝叶斯方法进行模型选择与异常点识别时两者之间的相互影响,建议模型与异常点应结合起来同时识别.针对二值数据,采用引入隐变量的数据扩增方法进行异常点识别,并且给出了基于MCMC方法计算后验概率来进行模型和异常点同时识别的具体过程.     

基于稳健S估计的长江流域气象异常值检测

高维数据如气象数据中不可避免地存在异常值,应用最广泛的最小二乘法在识别异常值上不具有稳健性和灵敏度.稳健估计方法可使求出的估计量不受异常数据的强烈影响,从而能更好地识别异常点.这里给出了基于稳健S估计的主成分分析模型,其中加入Tukey的双权型函数约束条件.该模型无须对数据分布函数的具体形式做假设,算法的收敛速度较快.之后再结合B样条函数对数据作平滑处理,以平均残差平方和为检验统计量,使用同样具有稳健性的调优箱型图作为判别异常值的界限.实证分析采用了我国长江流域5个城市60多年共约58 000条气象数据,分别运用PCA方法和基于稳健S估计的异常值判别方法对该数据集进行了对比分析.可以明显地看出,相比传统方法,基于稳健S估计的异常值判别方法更突出地给出关于异常值的信息,能更好地识别异常值.     

损伤识别的模态数据异常值分析方法

为探讨通过实测模态数据识别混凝土梁损伤的可行性,采用异常值分析方法,提出了通过判断实测低阶模态参数是否偏离正常状态来确定结构是否发生损伤的单参考点方法。针对结构状态连续监测的情况,提出了更具鲁棒性的逐次参考点异常值分析方法。预制了一根16m长的钢筋混凝土梁,并对健康状态和多种已知人工损伤状态下的梁结构进行了实验模态分析。实验数据的异常值分析结果表明:基于模态数据异常值分析的损伤识别方法,不仅能识别出钢筋混凝土梁的损伤,而且对损伤还很灵敏,甚至能检测出小于1%的微小损伤;逐次参考点分析方法能追踪钢筋混凝土梁累积损伤的过程。     

异常值检验方法的比较分析

针对格鲁布斯检验法、t检验法检测异常值的局限性,使用格鲁布斯检验法、t检验法、跳跃度检验法对异常值的个数分七种情况进行模拟研究,并对工效学用户测评数据的异常值检验结果进行比较分析,研究结果表明,跳跃度检验法识别异常值的准确率更高,并且在一定数量的异常值下避免了Masking效应(判异为正)和Swamping效应(判正为异)。当数据差异较小时,格鲁布斯检验法和t检验法检测异常值的效果较好,当数据差异较大时,跳跃度检验法检测异常值的效果更好。     

大数据在工程投标企业异常行为分级预警中的应用分析

<正>本文基于工程电子招标积累数据,对工程投标企业的异常行为进行识别预警,通过社团结构检测来识别投标企业的抱团行为,并对企业中标次数进行预测;对于中标次数异常的企业,根据预测值和实际值的标准残留所在置信区间进行分析识别;针对投标企业异常行为,结合分析结果构建了分级预警模型,旨在对企业疑似串围标的情况进行识别并分级预警。     

一类线性混合效应模型分位数估计的影响分析

当回归模型误差服从非对称或非正态分布时,尤其是在重尾分布或分布受污染的情况下,如何检测纵向数据中的异常值是数据分析中的一个重要问题。为了克服非正态分布模型误差的影响,采用稳健的分位数方法对一类线性混合效应模型进行参数估计,并分别基于数据删除模型和均值漂移模型构造强影响点的诊断度量和异常值的检验统计量,以有效地检测强影响点和异常值点。在识别强影响点时,为了减轻计算负担,利用光滑逼近的方法给出了数据删除模型参数的一步近似估计,并据此构造出基于损失函数的距离和Cook距离。为了能够识别异常值点,首先构造出检验异常值点的Wald统计量,然后基于数据删除模型和均值漂移模型的系数估计的等价性,利用Bootstrap抽样得到检验的拒绝域。数值模拟结果表明,本文所提的诊断度量和检验统计量都能够很好地判断出强影响点和异常值点。最后应用本文方法针对化学实验纵向数据进行了影响分析。     

子区异常下限衬值滤波在西藏江达地区的应用

江达地区地处西藏自治区东部、昌都地区东北部,地质背景及表生地球化学环境复杂,找矿标志不明显,找矿难度大。目前圈定的区域地球化学异常,没有考虑地质背景,采用传统化探方法可能漏掉部分强度不大而可能致矿的异常;或者是矿体有一定埋藏深度而异常较弱,由于未引起足够的重视而影响到找矿效果。子区异常下限衬值滤波方法解决了地质背景了复杂,低背景区和高背景区弱小异常的识别问题,克服了采用全区统一异常下限给异常识别带来的困难,具有处理复杂地质背景的能力。     

基于BOLL通道法的结构监测数据识别处理方法

在大跨度结构非均匀温度场的监测数据处理中常常需要处理温度数据,但是传统的温度识别处理方法在处理非均匀温度场数据时过于粗糙,无法较好的保留温度场的数据细节。因此本文通过BOLL通道法巧妙引入第三方数据与原始数据构建上下轨线,求取偏离值得到改进BOLL通道法完成对相关的非均匀温度场异常温度识别处理。同时对比了移动平均线法和三西格玛准则在数据识别处理的优劣。研究结果表明：改进型BOLL通道法在识别处理非均匀温度场方面具有独特的区域自适应性,在识别异常温度值的同时较好保留了非均匀温度场研究的突变温度细节,并且处理漂移温度数据和跳点温度数据的效果优于移动平均线法和三西格玛准则。     

基于图的空间例外检测算法研究

 空间例外检测可以发现许多意想不到的潜在知识.已有的空间例外检测算法都是在多维几何数据集合中进行的文章在图结构数据集合中发现空间例外.首先,结合空间数据的特点并基于DB(ρ,d)例外的定义提供了基于相异度的空间例外SDB(ρ,d)例外的形式化定义,然后给出了相应的空间例外挖掘算法.     

差分辅助中值滤波外弹道野值检测与剔除方法

针对中值滤波对连续型野值检测与剔除性能不理想的问题,提出了一种差分辅助中值滤波方法,并将其应用于外弹道测量数据的野值检测与剔除工作中。中值滤波方法对孤立型野值检测和剔除表现出很好的稳健性,但是当观测数据中野值点连续分布时,中值滤波方法往往无效。利用差分方法可以改变观测数据中野值点的分布。在此基础上利用中值滤波方法进行野值检测和剔除可获得更好的效果。计算机仿真和实测数据处理结果证明,差分辅助中值滤波野值剔除方法不仅对孤立型野值有效,同样适用于连续型野值检测和剔除。     

基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

一种对成片连续野值不敏感的鲁棒Kalman滤波

针对量测噪声中可能出现成片连续野值的情况，利用Ｂａｙｅｓ定理，得到了判别成片连续野值的后验概率公式，并提出了对上述野值不敏感的鲁棒Ｋａｌｍａｎ滤波。仿真实例表明：较之一般的Ｋａｌｍａｎ滤波，文中提出的方法能够较为满意地处理量测噪声中具有成片连续野值的恶劣情形。     

用小波变换去除多普勒频率估计野值点的方法

研究去除多普勒频率估计野值点的方法．在分析野值点统计特性及小波域分布特性的基础上，通过利用野值点和多普勒频率在小波域上系数的不同，首先对各尺度系数进行分段，然后对不同段的系数设定不同阈值进行处理，从而达到去除野值点和恢复多普勒频率的目的．实验结果表明，去除野值点后的结果与原数据的残差中不包含多普勒频率的趋势分量，对后续的脱靶量参数估计没有任何不利影响，去除了随机测量误差与野值点的影响。     

Influence of outliers on QTL mapping for complex traits

A method was proposed for the detection of outliers and influential observations in the framework of a mixed linear model, prior to the quantitative trait locus （QTL） mapping analysis. We investigated the impact of outliers on QTL mapping for complex traits in a mouse BXD population, and observed that the dropping of outliers could provide the evidence of additional QTL and epistatic loci affecting the 1 stBrain-OB and the 2ndBrain-OB in a cross of the abovementioned population. The results could also reveal a remarkable increase in estimating heritabilities of QTL in the absence of outliers. In addition, simulations were conducted to investigate the detection powers and false discovery rates （FDRs） of QTLs in the presence and absence of outliers. The results suggested that the presence of a small proportion of outliers could increase the FDR and hence decrease the detection power of QTLs. A drastic increase could be obtained in the estimates of standard errors for position, additive and additive× environment interaction effects of QTLs in the presence of outliers.     

用时频峰值滤波去除多普勒频率估计野值点的方法

研究去除多普勒频率估计野值点的方法.在分析多普勒频率估计野值点的成因和特点的基础上,对含有野值点的多普勒频率估计按比例调整到适当的频率范围内,用时频峰值滤波方法对其进行处理,恢复原多普勒频率比例尺度,从而达到去除野值点的目的.实验结果表明,选择较小窗长的伪Wigner-Ville分布,一次迭代就可有效地去除多普勒频率估计中的野值点,对后续的脱靶量参数估计没有任何不利影响,方法简单可靠.     

智能数据分析中的异常数据管理

数据是信息时代的重要资源，智能数据分析为发掘它自身的价值起到了很大的作用，但异常数据却给智能数据分析带来了新的挑战。本文提出了异常数据的管理方法，包括不同类型异常数据的分类方法、蕴知性异常数据的筛选方法。从源头上减少噪音性异常数据的方法，以及当前对异常数据进行研究所必须采取的措施。     

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用。然而传统K-means算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高。针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子。然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中。算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率。实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性。