基于统计方法的异常点检测在时间序列数据上的应用

异常点是时间序列数据中不可避免的特殊点,会对时间序列数据的分析产生负面影响。文章设计了一种适用于时间序列数据的基于统计的异常点检测与修正方法,可以有效地检测出异常点出现的位置并进行修正。使用酒店间夜数据进行的数值实验表明,使用修正后的数据集相对于使用原数据集预测精度会提高3.4%～4.4%。     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

基于滑动窗口的奇异点数据挖掘算法研究

在一条时间序列上与其它序列点存在显著差异的点,被称为奇异点.提出了一种基于滑动窗口的奇异点挖掘算法,该算法利用局部异常因子检测的方法检测出时间序列中的奇异点,再利用移动平均模型对奇异点的趋势进行判断,这样能更直观的看出奇异点对时问序列趋势的影响.通过对证券信息点和上证指数收盘点数构成的时间序列进行分析,结果表明该算法的...     

基于时间序列分析的网络流量异常检测

针对传统模型无法对网络流量异常进行准确识别和检测的问题,提出一种基于时间序列分析的网络流量异常检测模型.首先提取网络流量的原始数据,并对原始数据进行小波阈值去噪处理,消除干扰因素的影响;然后采用时间序列分析法挖掘网络流量数据之间的变化关系,建立网络流量异常检测模型;最后通过仿真实验验证检测模型的有效性和优越性.实验结果表明,时间序列分析法可以准确、及时地检测网络流量的异常行为,且结果优于目前其他网络流量异常检测模型.     

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题.提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好.     

检测非平稳时间序列中离群点和变化点的统一框架

文章为在非平稳时间序列的在线学习理论的基础上检测离群点和变化点提出了一个统一框架.在这个框架中数据源的一个概率模型用一种在线折扣学习算法被逐步学习,该算法能通过逐渐忘记过去数据的效果自适应地跟踪变化的数据源.然后任一给定数据的分数被计算出来测量它与学习模型的偏差,高分表明更有可能是离群点.进一步地数据流中的变化点通过用这一学习模型应用这种得分方法到一个移动平均损失预测时间序列中来检测.特别地我们为来自时间序列数据的自回归模型的在线折扣学习发明了一种有效算法,并通过仿真和在股票市场数据分析的实际应用验证框架的有效性.     

计算机免疫系统 GECISM 中识别规则的挖掘

GECISM(GEneral Computer Immune System Model)是基于规则匹配检测的计算机免疫系统,免疫识别规则对"自我"和"非我"特征的表征能力直接影响到GECISM的性能,所以挖掘高效免疫识别规则是GECISM的一个重要研究内容.改进后的Apriori算法以系统调用序列为数据源,从"自我"集和"非我"集中计算出频繁谓词,进而产生免疫识别规则.这些规则反映了"自我"和"非我"的内在特征,是GECISM进行"非我"检测的依据.     

水文时间序列变点识别的一种稳健方法

针对目前水文时间序列变点识别研究中忽略了方法的稳健性,未能充分考虑异常值的影响的不足,提出了利用一种高度稳健的高斯混合密度分解算法来识别水文时间序列中的变点,并以此来研究水文时间序列均值的突变该方法的核心是根据观测到的资料,通过逐步挖掘服从不同正态分布的时间序列分支,将均值变点的识别问题转化为混合正态密度的聚类问题,从而达到估计变点的位置以及自动获得变点的数目估计的目的实例计算结果表明,该方法对含有噪声的时间序列数据,仍能准确识别变点的位置,较好地解决了水文序列变点识别的稳健性问题．     

一种基于轨迹大数据离线挖掘与在线实时监测的出租车异常轨迹检测算法

以防止出租车欺诈绕路为例,提出一种基于出租车GPS时空轨迹数据离线挖掘与在线实时检测相结合的异常轨迹检测算法,获得快速反馈实时检测的结果.首先,将路网地图进行网格化切分并编号,用Pathlet方法优化常用的以GPS点组成的轨迹序列,并将轨迹通过匹配、补全等处理变换为Pathlet序列.然后,从大量出租车历史数据中,获得轨迹的Pathlet序列,并聚类得到起点与终点之间正常的K类轨迹.当实时轨迹需要被检测时,便与K类正常轨迹进行匹配,只需计算两段Pathlet序列的编辑距离,并同时考量时间和空间两个维度设定合理阈值,判断是否抛出异常.最后,基于北京地区2011年3月到5月出租车GPS轨迹的真实数据集进行了大量实验,对比了相关工作,印证了所提出算法的有效性和高效性.     

基于预训练交互式图神经网络的多元时间序列异常检测

多元时间序列异常检测是数据挖掘领域中的一项重要应用.基于深度学习的异常检测方法已经取得了重大进展,但其仍然存在一定的局限性.首先,是它们假设训练数据仅由正常数据组成,而忽略了异常数据可能导致的不可预测性;其次,大部分方法并未考虑到时间序列的独特特性.为了解决上述问题,基于预训练提出了一种新颖的用于多元时间序列的异常检测框架.框架由预训练模块和预测模块组成,首先预训练模块通过学习时间序列的密集向量表示,增强其可预测性,然后预测模块中充分利用时间序列的独特特性捕获其时间依赖.通过广泛的实验证明了所提出的模型的有效性,在三个真实数据集上均显著优于最先进的模型.