变点检测和控制图在数据业务监控中的应用

为实现对数据业务支撑系统的有效监控,通过剖析数据业务特点,提出了用控制图和变点监测发现数据业务中存在的异常。变点监测在处理三种类型的时间序列时存在不足,本文通过增加控制参数——变化率,对变点检测算法进行了改进,改进后的方法适应性更高,并且误报率大大降低。最后比较了控制图和变点检测方法的优缺点及各自的应用场景。     

基于纵横距离的单纯异常点检测算法及应用

首先讨论了异常点挖掘在数据挖掘过程中的重要性,产生异常点的原因,以及目前用于检测异常点的常用算法,指出了单纯应用距离法的局限性,提出了基于纵横距离的异常点检测算法,并给出了基于学生成绩检测的应用实例,该方法不需要进行大量的样本训练,在异常点检测方面有较好的效果.     

基于角度分布的高维数据流异常点检测算法

为了有效检测高维数据流中的异常点,提出一种基于角度分布的高维数据流异常点检测(DSOD)算法.运用基于角度分布的方法准确识别高维数据集中的正常点、边界点以及异常点;构造了基于正常集、边界集的小规模数据流型计算集,以降低算法在空间以及时间上的开销;建立了正常集、边界集的更新机制,以解决大数据流的概念转移问题.在真实数据集上的实验结果表明,所提出的DSOD算法的效率高于Simple VOA算法与ABOD算法,并且适用于大数据流上的异常点检测.     

基于点的方向图算法

提出了一种基于曲率的点方向初始值算法．该算法根据像素点在不同方向上的曲率变化确定该点的初始方向值,并明确提出了点方向的概念．提出了一种点方向图的新算法并研究了相应的快速算法．基于块划分的传统块方向图有时是不连续的．与块方向图相比,点方向图保留了块方向图的统计特性,又克服了块方向图的缺陷,不需要先进行背景分离,点方向计算与背景分离同步进行．     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

基于图的情境离群点检测方法

针对异常模式挖掘中的情境离群点检测问题,提出一种基于图的检测方法.首先对数据实例构建一个实例图,然后采用一个滑动窗口穿越数据实例,对处于滑动窗口内的数据实例,计算结点之间的闵可夫斯基距离作为边权值,然后采用最小生成树聚类算法对实例图进行聚类,再采用第二个滑动窗口穿越数据实例,根据窗口内的数据实例是否属于主趋势聚类赋予不同的离群值评分,不属于主趋势聚类的数据实例被认为是潜在的离群点.仿真实验和实际数据分析表明该方法在一元序列数据检测中是切实可行的,该方法具有较好的适用性和扩展性.     

质量控制图控制界限的优化研究

本文针对现行质量控制中以“3σ”作为控制图控制界限的方法,以X—R控制图为例,通过对控制图控制界限(K)与两类错误(α和β)发生的概率及其损失费用的分析,提出了最优控制界限的观点,建立了两类错误损失费用的数学模型,给出了主要研究过程和最优控制界限(K)的算式,并对其结果的一般性和优化性做了进一步的讨论和研究。最后,文章通过实例对其优化结果和“3σ”法的结果进行了比较和分析,以说明其优化性。     

单侧限制管理图控制界限的探讨

首先分析了目前普遍用于质量控制的双侧限制管理图所存在的问题，提出了其适用范围，继而进一步论述了单侧管理图的大批量，在此基础上，推导出单侧限制管理图的控制界限计算公式，结合水电工程实例对本文提出的观点予以了论主下，本文所提出的单侧限制管理图计算公式和计算方法是在双侧管理图的基础上引伸得到的，它的提出对丰富工程质量动态控制具有现实参考价值。     

基于图演化事件的主机群异常检测模型

针对网络环境中出现的以服务为聚合的通信行为和以分布式攻击为典型的新型协同攻击模式,提出了基于图演化事件的主机群异常检测模型。分析了行为主体潜在的社会化关系、聚集成簇的主机群及其群体行为的动态特性,该模型具有无参数、数据量级可扩展的特点。定义并提出了图动态演化事件及检测算法,实现异常主机群检测。本模型在Spark上实现和部署,还从实际计算机和网络环境提取数据进行分析和验证。实验结果表明,该模型能够有效刻画群体行为,揭露重要的图演化事件,准确定位异常发生的主机群,其群成员主机的检测率达到95.09%。     

基于12σ理论双侧控制图的控制界限研究

根据基于12σ理论的双侧控制图原理,推导出基于12σ理论的双侧控制图控制界限的计算公式,并给出基于12σ理论控制图的算例.计算结果表明,在技术条件、技术水平相同的条件下,采用基于12σ理论的控制图进行质量控制,可提高产品质量、降低成本,从而提高企业的经济效益,增强企业的竞争力.     

应用相似度测量的图离群点检测方法

针对传统离群点检测方法精确度不高的问题,提出了一种同时基于全局和局部视野综合考虑的离群点检测方法,并将其成功应用于事务图数据集的离群点检测。该方法利用极大公共频繁子图来测量任意两个事务图之间的相似度,提出利用基于公共近邻的裁剪方法对相似矩阵进行裁剪,通过计算数据结点的往返距离得出各个结点的离群值评分,弥补了传统基于稳态分布随机游走的离群点检测方法的缺陷。实验结果表明:该方法在事务图数据离群点检测方面的性能明显优于基于subdue的方法,精确度和错误报警率以及召回率提高了约10%。     

基于异常点挖掘的聚类算法比较研究

随着人们对数据质量、欺诈检测、网络入侵、故障诊断、自动军事侦察等问题的关注,异常点挖掘在信息科学研究领域日益受到重视.本文首先给出异常点的定义,并在聚类分析的基础上对PAM算法、BIRCH算法、DBSCAN算法和CURE算法在算法效率、适合的数据类型、发现的聚类类型、对异常数据的敏感性、空间复杂性、时间复杂性、使用的方法等方面进行了比较研究,最后给出了如何使用这些聚类算法处理异常点的方法.     

基于小波概率神经网络的控制图异常模式参数估计

提出了小波变换概率神经网络的基本框架,并应用于控制图异常模式的参数估计。仿真实验结果表明：该方法结构简单,收敛速度快,具有一定的识别精度,适合于控制图异常模式的参数估计。     

海量信息异常检测问题的异常概率排序算法

针对异常检测算法速度慢、精度低、稳定性差等问题,提出了一种通过异常概率排序提取异常点的算法(OAP).由于异常点相对正常点更容易通过对数据空间的均匀分割而孤立出来,所以OAP通过数据点在均匀N叉分割树中的孤立深度估算异常概率的大小,从而得到异常概率的排序,最终构造由k个异常概率最大的点组成的列表,列表中的数据就是所求的...     

一种基于免疫控制图的改进判别算法及其应用

本文针对相关的免疫控制图进行研究,对判异算子进行改进,在五种基本模式基础上提出了复合模式,使得判别算法中的条件更趋严格化。并在此基础上衍生出一种改进的免疫控制图统计判别算法。     

基于密度的异常检测算法在入侵检测系统中的应用

给出了异常的定义,介绍了几种典型的异常检测算法并比较它们的优缺点,发现基于密度的异常检测算法的局部异常观点较符合现实生活中的应用.阐述了基于密度的异常检测算法的定义及其在入侵检测系统中的具体应用.     

基于多频段图模型的微弱脑电信号异常检测

脑电信号(electroencephalogram, EEG)在癫痫发作检测方面具有重要意义。为了实现对癫痫发作的早期预警,充分利用δ、θ、α、β和γ波这5个频段中脑电的微弱变化信息和图模型的独特优势,提出了基于多频段图模型的脑电信号微弱异常变化检测方法。该方法首先对滤波后脑电信号的5个频段分别进行图模型动态建模,利用距离函数得到量化图模型之间关系的相似性分数,并用自适应权重融合算法融合所有的相似性分数得到综合性指标,最终通过假设检验来判断脑电信号是否发生异常。利用公开的波士顿儿童医院-麻省理工学院(Children’s Hospital Boston-Massachusetts Institute of Technology, CHB-MIT)头皮EEG数据库和山东大学第二医院神经内科的EEG数据库分别进行了实验,并最终用查准率、查全率和F分数来评价所提方法的检测性能。通过与基准方法比较,实验结果表明：所提方法在查准率和F分数方面优于基准方法,且查全率结果可达100%,表明所提方法能够检测所有潜在的微弱脑电信号异常变化,实现了对所有癫痫发作时刻的变化检测,具有突出的优越性和广阔的应用...     

基于预训练交互式图神经网络的多元时间序列异常检测

多元时间序列异常检测是数据挖掘领域中的一项重要应用.基于深度学习的异常检测方法已经取得了重大进展,但其仍然存在一定的局限性.首先,是它们假设训练数据仅由正常数据组成,而忽略了异常数据可能导致的不可预测性;其次,大部分方法并未考虑到时间序列的独特特性.为了解决上述问题,基于预训练提出了一种新颖的用于多元时间序列的异常检测框架.框架由预训练模块和预测模块组成,首先预训练模块通过学习时间序列的密集向量表示,增强其可预测性,然后预测模块中充分利用时间序列的独特特性捕获其时间依赖.通过广泛的实验证明了所提出的模型的有效性,在三个真实数据集上均显著优于最先进的模型.     

免疫控制图学习算法

目的 分析时序数据变化状况、记录数据特性值随时间而发生波动的过程是否处于控制状态，如有异常，则可对该时间段数据进行挖掘，通过挖掘发现知识；方法 以统计学的正态分布与中心极限定理为理论基础，结合免疫进化的思想，提出免疫控制图原理及学习算法；结果 理论分析和仿真实验表明了免疫控制图方法的实用性和有效性；结论 免疫控制图在质量数据的分析与控制、顾客的消费行为分析、股票市场波动的异常反映、网络安全管理等领域有着广泛的应用。