多元时间序列模式异常研究

为了提高多元时间序列模式异常检测算法的有效性和合理性,在k-近邻局部异常检测算法的基础上,结合基于主元分析的多元时间序列的降维方法,对多元时间序列模式异常进行检测.实验结果验证了该算法对多元时间序列模式异常检测的准确性和有效性.     

多元时间序列相似性研究

本文在分析信息系统与多元时间序列关系的基础上,利用主成分的方差贡献率得到主成分的加权综合属性,从而达到将多元时间序列降为一元时间序列的目的;利用动态时间弯曲距离来刻划两个已经降为一元的时间序列相似性.     

多元时间序列聚类算法分析

为解决高多元时间序列聚类算法的问题,采用了一种基于主元分析方法的多元时间序列聚类分析方法,利用MTS序列的前z个主元与每个簇的代表元素之间的Eros距离,将原有的复杂数据降维.在此基础上通过改进K-means算法对选取的多元时间序列的主元进行聚类分析,最后得到K个MTS聚类.理论分析和实验结果表明该算法能有效解决聚类问题.     

基于趋势特征聚类的多元相似时间序列的提取

历史相似时间序列的提取在数据挖掘、工业故障检测以及故障根源分析等领域应用非常广泛。针对工业报警系统中异常根源分析方法存在的问题,提出了一种基于趋势特征聚类的多元相似时间序列的提取方法,可以有效地辅助现场工作人员分析关键变量发生异常变化的根源。首先对多元时间序列进行分段线性表示,获得变量的趋势特征信息;然后采用基于密度峰值聚类分析算法对获得的趋势特征在高维空间中聚类,从而实现历史数据的相似性提取;最后可根据关联变量的幅值变化量分析导致主变量发生异常变化的根源变量。数值仿真和实际工业数据案例验证了所提方法的有效性。     

基于改进ADPP的多变量时间序列异常检测

针对多变量时间序列异常检测问题进行研究,提出基于改进ADPP的多变量时间序列异常检测算法IADPP.IADPP算法引入适用于多变量时间序列的张量相似性度量SSOTPCA,并以此相似性度量构造序列集的k-近邻图,在构造的k-近邻图上计算多变量时间序列的异常系数.研究结果表明,IADPP算法克服了原有ADPP算法不支持多变量时间序列和要求密度均匀的缺陷,取得了较好的检测结果.     

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题.提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好.     

用于异常检测的单级免疫学习算法

基于对多级免疫学习算法(M ILA)的批评性研究,提出了单级免疫学习算法(SILA)。该算法适用于低维度特征量的异常检测,提高了探测器训练的效率和效益,而且对M ackey-G lass时间序列数据的检测取得了很好的实验结果。     

基于PCA的无监督异常检测方法研究

针对现有的无监督异常检测技术的不足之处,提出了一种基于样本分布异常数据实例度量方法;将主成分分析方法应用到异常检测中解决数据集高维数据的降维问题.提出一种新的无监督异常检测算法μ-UAD,并对该算法进了性能评估.实验表明,该算法具有较好的检测性能.     

AnomalyDetect:一种基于欧式距离的在线异常检测算法

异常检测是数据挖掘中的一项关键技术,在计算机和互联网领域有广泛的应用,包括网络安全、图像识别、智能运维等,特别是智能运维,近几年取得了长足的发展.已有的异常检测算法会有低准确度、离线、无法自动更新等问题.为此对智能运维背景下的真实异常检测问题进行研究,构建高准确度、在线、通用异常检测算法,并据此在已有时间序列异常检测算法的基础上,提出了一种新的基于欧式距离的在线异常检测算法.通过实际的运维时序数据实验,发现该算法可以实时快速准确地检测流式时间序列数据中的异常数据,验证了该算法的有效性.     

基于BIRCH-LKD的在站车辆中时异常检测算法

针对铁路车辆在站中转作业异常较多的情况,提出基于BIRCH-LKD的在站车辆中时异常检测算法.该算法以车辆中时序列为研究对象,不考虑异常值的具体形式,对序列分组,引入中时序列特征向量,做类球形簇转化;采用基于划分的显性异常检测方法得到中时序列特征向量的聚类特征树,查找序列显性异常,缩小异常检测范围;利用隐性异常检测算法计算剩余数据对象的K距离,根据距离差值变化规律,筛选序列隐性异常;最后,利用中时序列中位数异常判定条件,排除下界异常,实现中时序列的异常检测.实验结果表明,该算法检出率高,能够快速识别中时序列异常值,有效率达85%以上,去除异常值后的中时序列符合实际情况的趋势且更加平稳.      

基于分阶段离群点检测的电力市场异常辨识

为了监管电力市场中存在的各类违规行为,保证市场的公平竞争,提出了一种基于分阶段离群点检测算法的电力市场异常行为辨识方法.梳理不同交易阶段异常行为的特征,提取相应的特征指标,采用主成分分析法对其进行降维,分阶段地进行异常行为的检测.同时利用平均距离改进局部离群因子算法,显著地提升了算法的检测效果.通过某地区电力市场提供的交易数据进行实验分析,实验结果表明,该方法能有效识别市场中的异常行为,为市场监管人员利用海量数据进行有效监管提供了新思路.     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

基于偏鲁棒M-回归的间歇过程离群点检测

以多元统计分析技术为核心的间歇过程建模、在线监测逐渐成为过程工业的关注焦点,然而过程数据中存在的大量离群点将直接影响上述方法的可靠性,为此提出了一种基于偏鲁棒M-回归的间歇过程离群点检测方法.首先基于极大相关熵估计建立鲁棒预测模型;然后利用偏鲁棒M-回归算法计算模型的回归系数;最后采用Hampel识别器分析最终的权值,从而实现离群点的检测.将所提方法应用于某间歇反应过程,实验结果验证了方法的有效性.     

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.     

基于柯西分布的水文序列异常值检测方法

针对基于正态分布的检测算法在窗口中出现偏差较大的极端异常值时,检测模型出现不稳定的现象,提出一种基于柯西分布的异常检测算法。通过试验发现,用滑动窗口内的中位数以及中位数绝对偏差来代替均值以及标准差,可以较好地消除滑动窗口内极端异常值对检测算法的影响。探讨了算法中滑动窗口以及置信度的设置,并通过实例对算法进行验证。结果表明,所提算法的检出率在窗口以及置信度设置恰当的情况下保持较高水平。与其他算法对比表明,所提算法对于处理局部波动剧烈的流量时间序列展现出较好的适用性以及鲁棒性。     

基于改进RBF网络的过程工业时间序列预测方法

基于残差思想的异常数据检测方法的关键之处在于对数据的准确预测.针对这一问题,提出基于改进径向基网络(radial basis function network,RBFN)的过程工业时间序列预测方法,该方法通过改变RBF网络的输入形式,使改进后的RBF网络能够更方便地引入遗忘因子以及惩罚因子,以适应于基于残差思想的异常数据检测方法要求的动态性能和鲁棒性.通过理论证明改进的RBF网络与传统RBF网络的等效性,并通过实验比较证明改进后的RBF网络较传统的网络结构更简单,参数意义更明确.     

GDLOF:基于网格和稠密单元的快速局部离群点探测算法

为了适应高维大规模数据集的稀疏性,解决现有离群点探测算法在运用于高维大规模数据集时计算量以及时间效率均无法令人满意的现状,区别于以往文献中以点的数量作为判断稠密的阈值,在基于密度的局部异常检测算法LOF的基础上,以通过数据集中每一点周围的邻近点的状况作为判别依据,提出了稠密单元和稠密区域的概念以及基于网格和稠密单元的快速局部离群点探测算法.通过证明稠密单元和稠密区域中的点不可能成为离群点,使得算法减少了LOF值的计算量并显著提高效率.实验表明,该算法对于高维大规模数据集具有良好的适用性和有效性.     

基于nested-loop的大数据集快速离群点检测算法

针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.