基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

干涉仪解模糊异常值检测及纠错方法

针对多基线相位干涉仪测角雷达在通道相位误差较大时解模糊结果存在异常的问题,提出了一种基于有限记忆算法的干涉仪解模糊异常值检测与纠错方法.该方法利用逐次测角算法的初次解模糊结果估计角度和整周模糊值的初始值,在此基础上进行角度和整周模糊值的有限记忆递推,识别原始测角数据中存在的数据异常值,对其进行异常值剔除或重新解模糊纠错处理.仿真结果表明,该方法原理正确,对于干涉仪解模糊数据中出现的孤立型及连续型异常值都能够进行有效的检测并予以纠正,显著降低了解模糊的出错概率.     

一种新的时间序列周期检测算法

提出了一种SJ周期检测算法,利用计算机虚拟了3个序列来评价SJ算法的可行性和需要改进的地方。将SJ算法应用到铁路客流量数据上,检测到客流量数据存在4、7和26的周期规律。     

一种基于BIRCH的异常检测技术

文章针对KNN存在的复杂度过高的问题,提出应用把BIRCH算法的层次聚类思想近似地计算weight的Bireh Out算法,以降低其复杂度,同时利用孤立点挖掘的思想做异常检测．通过在KDD99数据集上的实验,我们验证了算法的有效性．     

用于异常检测的实值否定选择算法

针对已有实值否定选择算法检测器生成过程的不足,提出了一种优化的检测器生成算法。充分利用自体空间的分布,优化检测器生成的中心位置,扩大检测器的半径,尽可能生成覆盖范围大的检测器;使用覆盖率期望值作为算法结束的一个控制参数,有效地避免了冗余检测器的产生。建立了异常检测系统的形式化描述,定义了一个新的异常检测性能衡量指标——错误率。最后,通过人工合成数据集2DSyntheticData以及实际的Iris数据集及Biomedical数据集对算法进行了验证。试验结果表明,相比V-detector算法,本文算法提高了检测率,降低了错误率,减少了所需检测器数量,整体检测性能较优。     

一种新的基于二值图像的边缘检测算法

边缘检测是数字图像处理中常用的一种技术,可以捕获图像中物体的重要特征.介绍了几种经典的边缘检测算子,提出了一种基于二值图像的边缘检测方法.该方法不用对图像求导,仅统计每个像素点的8邻域值的情况,即可确定该像素点是否为边缘点.实验表明,该方法用于二值图像时,检测效果较理想.     

一种基于PCA的时间序列异常检测方法

在 k-近邻局部异常检测算法的基础上,采用基于主成分分析的多元时间序列的降维方法,依据累积贡献率选择主成分序列,给出了一种效率较高的多元时间序列异常检测算法.实验结果表明:该算法可以较好地提高多元时间序列异常检测的效率     

一种新的基于回归分析的异常值检测

异常值检测是当前数据分析中的一个重要研究领域.模型中的异常值会直接影响建模、参数的估计、预测等问题.回归分析是应用极其广泛的数据分析方法之一,本文针对回归分析中的异常值检测进行了研究.该方法基于均值转移模型,根据异常值对残差平方和的影响关系构造一个新的异常值判断准则的统计量,并给出了估计异常值大小的公式.本文进行了大量的模拟实验和实例分析,与传统方法相比,结果表明该方法是有效的.     

一种新的端口扫描检测方法

针对现有端口扫描方法存在的缺陷,提出一种端口扫描检测的新方法.该方法充分利用受保护网段内各主机的特征,对可疑事件进行关联分析,不但可以检测现有工具都可以检测的扫描,而且对慢速扫描的检测也非常有效.     

基于BIRCH-LKD的在站车辆中时异常检测算法

针对铁路车辆在站中转作业异常较多的情况,提出基于BIRCH-LKD的在站车辆中时异常检测算法.该算法以车辆中时序列为研究对象,不考虑异常值的具体形式,对序列分组,引入中时序列特征向量,做类球形簇转化;采用基于划分的显性异常检测方法得到中时序列特征向量的聚类特征树,查找序列显性异常,缩小异常检测范围;利用隐性异常检测算法计算剩余数据对象的K距离,根据距离差值变化规律,筛选序列隐性异常;最后,利用中时序列中位数异常判定条件,排除下界异常,实现中时序列的异常检测.实验结果表明,该算法检出率高,能够快速识别中时序列异常值,有效率达85%以上,去除异常值后的中时序列符合实际情况的趋势且更加平稳.      

异常值检测中GRUBBS法的改进

GRUBBS检验法在异常值检测中一种较常用的质控方法.本文针对其易出现假受控和假失控现象,提出一种改进算法,即对前4次数据进行修匀处理,合理采集两次有效数据,减少了方差过大过小出现的现象,从第5次开始进行质控.理论分析和实验均表明,新方法减少了假受控与假失控的机会,仿真结果也表明了改进算法的有效性.     

一种改进YOLOv5的课堂异常行为感知检测算法

YOLOv5算法能够对异常行为进行检测,大幅度提高异常行为识别的准确率和速度。然而,其参数规模较大,GPU计算量大,不适合在资源受限的嵌入式终端上进行安装部署;同时,其对目标密集、易产生遮挡的学生课堂异常行为识别表现不佳。针对上述问题提出了融合MobileNetV3的YOLOv5算法,该算法通过改进网络结构提升了算法效率,通过小目标锚框改进了相互遮挡的多目标识识别能力。最后,在基准数据集上的实验结果表明该算法网络模型参数量优于现有的YOLOv5算法,同时该算法在课堂异常行为数据集上表现出更好的识别效果。     

基于时间序列的异常检测算法的研究

在时间序列数据下,针对传统的器件故障检测技术对不同的器件检测率低、小样本数据分类不平衡等问题,对数据异常检测准确率造成很大的影响。该文构建一种机器学习和深度学习相结合的时间序列异常检测算法,针对时间序列数据分类不平衡问题,引入合成少数类过采样技术（Synthetic Minority Oversampling Technique,SMOTE）,使得各类别之间的数据达到均衡状态,用最小绝对收缩和选择算法（Least Absolute Shrinkage and Selection Operator,LASSO）进行特征选择,从而得到对异常检测结果影响较大的特征项,最后,使用基于添加注意力机制的长短期记忆网络（Long Short-Term Memory,LSTM）作为异常检测分类器,完成基于时间序列异常检测算法的实现。     

一种连续型野值的识别与修正滤波算法

通过对量测数据新息序列的统计数学特性的分析,利用服从wishart分布的AA^U(k)=(N-1)·AS^U(k)随机矩阵的最大特征值提出了一种检测量测数据中是否含有野值的判别方法.此基础上,修正了Kalman滤波器的状态估计算法.使该算法在出现连续型野值时,能明显地降低误差,提高滤波精度.仿真结果证明了该方法的有效性.     

一种连续型野值的识别与修正滤波算法

通过对量测数据新息的统计数学特性的分析,借助于主成分分析法的思想,根据矩阵的最大特征值反映矩阵的主要信息这一特点,提出了一种检测量测数据中是否含有野值的判别方法.此基础上,修正了Kalman滤波器的状态估计算法.使该算法在出现连续型野值时,能明显地降低误差,提高滤波精度.仿真结果证明了该方法的有效性.     

矿井风量监测异常值研究的模型与算法

从我国煤矿现有的通风安全监测系统实际出发，以风量监测数据发生异常为线索，力图根据监测系统提供的数据，推断出造成这一异常现象的原因，并给出信息。本文论述了相应的物理模型及其算法。     

基于LCSS的异常轨迹检测算法

当今社会移动终端设备在极大便利人们生产生活的同时产生了海量轨迹数据.如何利用轨迹数据检测犯罪嫌疑人在物理空间中的异常行为成为公共安全领域的研究热点.基于行为人的GPS坐标数据,研究设计异常轨迹检测算法.对于某人在一段时间内的轨迹数据,首先将其划分为若干停留区域,未被停留区域覆盖的轨迹点被直接去除;然后将每一个停留区子轨...     

基于高阶动态贝叶斯网络嵌入的路面异常检测算法

路面异常会给驾驶员与行人带来不便,更可能引发交通事故。提出了一种通过传感器时序信号数据进行路面异常检测的算法。针对行驶过程中采集的不同传感信号之间具有较强的高阶时序相关性的问题,通过构建高阶动态贝叶斯网络分类器来实现异常检测。首先,通过相关性分析和Granger因果分析分别构建初始时刻网络和转移网络的初始网络;然后,将传感信号进行小波分解,通过卷积神经元网络实现网络嵌入学习;最后,利用网络嵌入进行链路预测,结合MDL评分实现网络修正学习算法。实验结果表明,该检测算法相对于传统的时间序列分类方法,在分析时序相关性较大的信号数据时,具有更低的误检率和漏检率、更高的F1值,并且更加鲁棒。