一种基于PCA的时间序列异常检测方法

在 k-近邻局部异常检测算法的基础上,采用基于主成分分析的多元时间序列的降维方法,依据累积贡献率选择主成分序列,给出了一种效率较高的多元时间序列异常检测算法.实验结果表明:该算法可以较好地提高多元时间序列异常检测的效率     

AnomalyDetect:一种基于欧式距离的在线异常检测算法

异常检测是数据挖掘中的一项关键技术,在计算机和互联网领域有广泛的应用,包括网络安全、图像识别、智能运维等,特别是智能运维,近几年取得了长足的发展.已有的异常检测算法会有低准确度、离线、无法自动更新等问题.为此对智能运维背景下的真实异常检测问题进行研究,构建高准确度、在线、通用异常检测算法,并据此在已有时间序列异常检测算法的基础上,提出了一种新的基于欧式距离的在线异常检测算法.通过实际的运维时序数据实验,发现该算法可以实时快速准确地检测流式时间序列数据中的异常数据,验证了该算法的有效性.     

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题.提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好.     

基于改进ADPP的多变量时间序列异常检测

针对多变量时间序列异常检测问题进行研究,提出基于改进ADPP的多变量时间序列异常检测算法IADPP.IADPP算法引入适用于多变量时间序列的张量相似性度量SSOTPCA,并以此相似性度量构造序列集的k-近邻图,在构造的k-近邻图上计算多变量时间序列的异常系数.研究结果表明,IADPP算法克服了原有ADPP算法不支持多变量时间序列和要求密度均匀的缺陷,取得了较好的检测结果.     

基于趋势特征聚类的多元相似时间序列的提取

历史相似时间序列的提取在数据挖掘、工业故障检测以及故障根源分析等领域应用非常广泛。针对工业报警系统中异常根源分析方法存在的问题,提出了一种基于趋势特征聚类的多元相似时间序列的提取方法,可以有效地辅助现场工作人员分析关键变量发生异常变化的根源。首先对多元时间序列进行分段线性表示,获得变量的趋势特征信息;然后采用基于密度峰值聚类分析算法对获得的趋势特征在高维空间中聚类,从而实现历史数据的相似性提取;最后可根据关联变量的幅值变化量分析导致主变量发生异常变化的根源变量。数值仿真和实际工业数据案例验证了所提方法的有效性。     

基于时间序列分析的网络流量异常检测

针对传统模型无法对网络流量异常进行准确识别和检测的问题,提出一种基于时间序列分析的网络流量异常检测模型.首先提取网络流量的原始数据,并对原始数据进行小波阈值去噪处理,消除干扰因素的影响;然后采用时间序列分析法挖掘网络流量数据之间的变化关系,建立网络流量异常检测模型;最后通过仿真实验验证检测模型的有效性和优越性.实验结果表明,时间序列分析法可以准确、及时地检测网络流量的异常行为,且结果优于目前其他网络流量异常检测模型.     

基于数据挖掘的金融时序频繁模式的快速发现

针对金融时间序列分析中注重快速作出趋势判断的特点,利用数据挖掘的思想和工具,提出一种金融时间序列模式快速发现算法.与传统的预测算法相比较,该算法对数据的分布和平稳性等方面的要求不高,不基于任何假设,能够非常快速地发现时间序列中的频繁模式,经过模式匹配后,可以用于金融时间序列的分析与预测.以实际汇率数据为例,证明了该算法的有效性.     

基于滑动窗口的奇异点数据挖掘算法研究

在一条时间序列上与其它序列点存在显著差异的点,被称为奇异点.提出了一种基于滑动窗口的奇异点挖掘算法,该算法利用局部异常因子检测的方法检测出时间序列中的奇异点,再利用移动平均模型对奇异点的趋势进行判断,这样能更直观的看出奇异点对时问序列趋势的影响.通过对证券信息点和上证指数收盘点数构成的时间序列进行分析,结果表明该算法的...     

基于数据挖掘的异常入侵检测系统

在分析现有入侵检测技术和系统的基础上,提出了一种基于数据挖掘和可滑动窗口的异常检测模型,该模型综合利用了关联规则和序列模式算法对网络数据进行充分挖掘,分别给出了基于时间窗口的训练阶段和检测阶段的挖掘算法,并建立贝叶斯网络,进一步判定规则挖掘中的可疑行为,提高检测的准确率.     

一种基于贝叶斯后验的异常值在线检测及置信度评估算法

为识别一类更新速度快、变化趋势平缓、缺少人工类标的大数据量工业时间序列中所存在的异常值,提出了一种以贝叶斯后验为基础的异常值在线检测及置信度评估算法.算法将预测检测和假设检验相结合,首先建立时间序列自回归模型,然后对预测残差作基于贝叶斯原理的后验检验,用后验概率对数比确定序列中的异常值.为减少识别过程中的误判,在检测完成后,利用自组织映射神经网络计算状态转移概率,进一步对已标记的异常值进行置信度评估.通过定期更新模型,算法各参数能动态保持与数据变化规律同步,提高了检测的准确率.实验结果表明,该算法能够对时间序列异常值准确快速地进行在线检测,同时给出可靠的置信度评估,具有较高的实用价值.     

基于偏鲁棒M-回归的间歇过程离群点检测

以多元统计分析技术为核心的间歇过程建模、在线监测逐渐成为过程工业的关注焦点,然而过程数据中存在的大量离群点将直接影响上述方法的可靠性,为此提出了一种基于偏鲁棒M-回归的间歇过程离群点检测方法.首先基于极大相关熵估计建立鲁棒预测模型;然后利用偏鲁棒M-回归算法计算模型的回归系数;最后采用Hampel识别器分析最终的权值,从而实现离群点的检测.将所提方法应用于某间歇反应过程,实验结果验证了方法的有效性.     

基于柯西分布的水文序列异常值检测方法

针对基于正态分布的检测算法在窗口中出现偏差较大的极端异常值时,检测模型出现不稳定的现象,提出一种基于柯西分布的异常检测算法。通过试验发现,用滑动窗口内的中位数以及中位数绝对偏差来代替均值以及标准差,可以较好地消除滑动窗口内极端异常值对检测算法的影响。探讨了算法中滑动窗口以及置信度的设置,并通过实例对算法进行验证。结果表明,所提算法的检出率在窗口以及置信度设置恰当的情况下保持较高水平。与其他算法对比表明,所提算法对于处理局部波动剧烈的流量时间序列展现出较好的适用性以及鲁棒性。     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

基于残差融合的时序数据离群点检测算法

物联网的快速发展产生了海量的高维时序数据,然而时间序列易受到外界变化的环境因素影响而产生离群点。针对现有的离群点挖掘算法不能兼顾时序数据的趋势性、季节性、循环性、不规则性的特点,从而导致检测效果不理想的问题,提出一种基于残差融合的时序数据离群挖掘(residual integration outlier,RIO)算法。首先利用线性自回归移动平均模型(autoregressive integrated moving average model,ARIMA)拟合数据,得到在相同时间粒度下的残差序列,并将该序列作为非线性模型长短期记忆网络(long short-term memory,LSTM)模型的输入,输出残差序列预测值,而后将经由ARIMA模型与LSTM模型处理的序列在相同时间粒度下融合,得到一条经由混合模型两次处理的残差序列。最后,利用基于直方图的离群点模型(histogram-based outlier score,HBOS)检测出该二次残差序列的离群点。实验表明,RIO算法的准确度得到了较为明显的提高,具备良好的实用价值。     

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.     

多元时间序列相似性研究

本文在分析信息系统与多元时间序列关系的基础上,利用主成分的方差贡献率得到主成分的加权综合属性,从而达到将多元时间序列降为一元时间序列的目的;利用动态时间弯曲距离来刻划两个已经降为一元的时间序列相似性.     

检测时间序列数据中的例外模式

提出一种从时间序列数据中辨识例外模式的系统化方法,包括4个步骤1)将时间序列数据分割为一系列子序列;2)将这些子序列映射到某个特征空间;3)在此特征空间中,用聚类算法将分割得到的子序列聚类为不同的模式;4)定义例外支持的概念,并计算每个模式的例外支持,如果某个模式的例外支持小于1,则该模式是一个例外模式。实验表明该方法能够有效地监测出时间序列中的例外模式。