基于图的情境离群点检测方法

针对异常模式挖掘中的情境离群点检测问题,提出一种基于图的检测方法.首先对数据实例构建一个实例图,然后采用一个滑动窗口穿越数据实例,对处于滑动窗口内的数据实例,计算结点之间的闵可夫斯基距离作为边权值,然后采用最小生成树聚类算法对实例图进行聚类,再采用第二个滑动窗口穿越数据实例,根据窗口内的数据实例是否属于主趋势聚类赋予不同的离群值评分,不属于主趋势聚类的数据实例被认为是潜在的离群点.仿真实验和实际数据分析表明该方法在一元序列数据检测中是切实可行的,该方法具有较好的适用性和扩展性.     

采用自适应背景窗的舰船目标检测算法

针对合成孔径雷达(SAR)图像应用中,传统滑动窗口检测算法无法对近距、近岸或不同大小目标实现精确检测的问题,提出了一种自适应窗口的舰船目标检测算法。该算法首先利用阈值滤波实现海面的分离,然后通过对分离后待检目标的像素体积统计,剔除大体积陆地目标,得到待检目标,并根据其像素分布设置自适应窗口,通过对自适应窗口内目标像素和背景像素的分离统计,最终拟合得到待检目标附近背景的K-分布概率模型进行恒虚警检测。相对于传统滑动窗口检测算法,自适应窗口检测算法可实现对目标背景像素的精确统计及K-分布拟合,以及对舰船类目标的精确检测。实验结果证明,在相同的虚警概率条件下,对复杂海面情况的SAR图像进行舰船检测,自适应窗口检测算法比传统局部窗K-分布的恒虚警检测结果的品质因子高0.34。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

基于滑动窗双边CUSUM算法的风电爬坡事件检测方法

随着新能源并网进程的推进,风电装机规模逐年扩大。受区域内天气变化影响,风机出力的间歇性和波动性特征对电网的威胁亦越发显著。极端天气所引发的风电出力异常爬坡事件,易导致电网功率失衡,对电力系统机组调度、源荷平衡造成了极大压力。合理的风电爬坡事件检测以及精准的风电功率预测能为风电场运维及电力系统调度提供先验指导,有力缓解风电不确定性带来的危害。首先讨论了目前主流风电爬坡事件定义的盲点,分类并分析了3种风电爬坡场景的功率变化特性,据此提出基于滑动窗双边累计和(cumulative sum, CUSUM)算法的风电爬坡事件检测方法,提取时序耦合信息,捕捉短时间窗口内风电功率数据的异常波动,提高风电爬坡事件检测精度。其次,采用贝叶斯优化的长短期记忆(long short term memory, LSTM)神经网络,最优化模型超参数,提高模型对于爬坡事件发生时风机出力的预测性能。进一步应用所提风电爬坡事件检测方法,对模型预测区间内的风电爬坡事件进行检测实验,验证了所提方法的有效性。     

基于分形理论的网络流量异常检测技术

传统网络流量异常检测技术不能适应网络流量的复杂性,异常检测精度低,不能保证实时性,为此,提出一种新的基于分形理论的网络流量异常检测技术。通过FIR滤波方法对流量的时间序列进行预处理。采用Schwarz信息准则对网络流量异常检测问题进行处理,估测网络流量异常点数量与位置。采用R/S分析法求出自相似指数Hurst值,依据Hurst值对网络流量时间序列的分形特征进行分析。引入滑动窗口完成多网络流量异常点的检测,在检测异常点处对流量进行分形处理,依据自相似指数计算过程获取异常点间的流量自相似指数值,保存异常点之后的流量,为下一个流量异常点的检测提供依据。实验结果表明,所提技术实现过程简单,网络流量异常检测精度高,保证了实时性。     

基于滑动窗口最长公共子序列Wi Fi指纹定位算法

针对基于Wi Fi瞬时指纹定位算法中由于RSS信号的时变特性引起的Wi Fi定位精度差问题,提出了一种基于滑动窗口最长公共子序列指纹定位算法.该算法将时间序列的RSS信号指纹转化为基于滑动窗口的数据模型,增加了指纹特征信息,提高比对准确性.通过计算请求定位数据与样本的最长公共子序列来获得样本点的相似性,解决由于窗口伸缩或滑动窗口中个别采样点无信号引起的比对不准确问题,从而提高了定位的精确性和鲁棒性.实验结果表明,所提定位算法的结果明显优于瞬时指纹定位算法.     

基于双重中位数绝对偏差的证据加权组合方法

Dempster-Shafer证据理论目前已被广泛应用于大数据时代的各行各业,但是当该理论应用在高度冲突的证据源进行融合时,往往会产生一些有悖直觉的结果,具有一定的局限性.为了解决这一问题,该文提出了一种基于双重中位数绝对偏差(MAD)检测和一种新的证据加权组合改进方法.首先通过MAD算法检测出异常证据,再使用这组证据的平均值对异常证据进行修正,然后使用新的证据加权组合方法对证据加权平均后得到最终结果,最后通过随机模拟实验和具体的算例实验,并与其他几种经典的证据合成规则进行比较.仿真结果表明该文提出的方法能有效地解决高度冲突的证据融合问题.     

基于可信多数投票的快速概念漂移检测

数据流因具有数据持续到达,概念漂移产生时刻无法预测、概念的数量不确定等特征,使得滑动窗口的大小很难事先确定,滑动窗口包含概念的数量对概念漂移检测存在影响.本文提出了基于可信多数投票的快速概念漂移检测算法(CMV_SEA),该算法使用SEA算法中的基分类器淘汰方法,使用可信多数投票实现滑动窗口中基分类器的集成.仿真实验表明:相比于SEA算法,CMV_SEA算法提高了泛化能力;能在新概念产生的第一时间内检测到概念漂移;对概念漂移的检测能力和新概念的学习能力不受滑动窗口大小的影响.     

基于时间窗口权值的数据流分类算法

针对不同时间段的数据流对当前数据流分类影响程度不同,在滑动窗口技术基础上提出了时间窗口权值的频繁模式(TWWFP)分类算法.首先,对滑动窗口中的每个基本窗口赋予一个与时间有关的窗口权值;然后,采用TWWFP-Tree结构存储当前滑动窗口中每个基本窗口中的频繁数据属性,实时更新TWWFP-Tree结构;最后,检测相邻3个滑动窗口中权值属性的平均分类误差,发现突变后及时减少下一个滑动窗口的长度可适应数据流的变化.实验证明该分类算法比没有时间窗口权值分类算法的精确度最大提高3%.     

塔康脉冲峰值滑动窗检测与方位包络拟合方法

针对在低信噪比情况下塔康(tactical air navigation,TACAN)峰值检测误差大、脉冲形变和易丢失等问题,提出了滑动窗方法检测塔康钟形脉冲峰值.设计了与塔康钟形脉冲匹配的滑动窗,通过多次滑动比较窗中离散点与首尾点幅值来判断脉冲到达时刻,累加离散点做归一化估计峰值,采用最小二乘算法拟合周期内各峰值点估计包络,剔除偏差包络分布较大值并重新拟合提高角度测量精度.仿真结果表明,所提方法在低信噪比情况下,能有效检测峰值和估计方位信息,估计误差小于0.5.,满足塔康系统方位误差小于2°的要求.     

一种基于极值的自适应中值滤波改进算法

提出了一种基于极值的自适应中值滤波改进算法,该方法可以有效地保护图像细节,并去除图像中的椒盐噪声.首先利用椒盐噪声的分布给出疑似噪声的判断标准,然后根据噪声密度自适应地确定滤波窗口大小,再采用一种新的算法进行滤波,最后将本算法与其他几种滤波算法进行对比,实验结果表明,本算法优于其他中值滤波算法.     

一种新的基于脉冲噪声点检测的自适应中值滤波算法

传统的中值滤波算法在去除脉冲噪声时会造成图像细节信息的丢失,从而使图像变得模糊,提出一种新的基于脉冲噪声点检测的自适应中值滤波算法.该算法先检测出脉冲噪声点,采用自适应窗口对噪声点进行中值滤波.仿真实验表明,与传统中值滤波相比,这种新算法很好地保留了图像的细节,提高了峰值信噪比.     

基于滑动窗口的时间序列离群数据挖掘

离群数据挖掘是数据挖掘中的重要内容.本文针对时间序列数据进行离群数据挖掘方法的研究.在引入了基于局部离群点因子的离群数据挖掘方法与时间序列上滑动窗口基础上,将二者相结合,提出了基于滑动窗口的时间序列离群数据挖掘算法,并将算法应用于海表温度数据得到海表温度的异常之处.     

一种新的脉冲噪声图像恢复方法

为消除图像中的脉冲噪声, 提出一种窗口自适应开关中值滤波方法. 利用BP神经网络将图像中的每个像素点分类为信号点或噪声点, 再采用改进的中值滤波器对检测后的图像进行滤波处理. 根据噪声检测结果, 滤波器自适应调整窗口大小并选择性取样, 逐点滤波消除图像中的噪声. 该方法在抑制脉冲噪声、 保护图像细节方面均优于以往基于中值滤波的法, 即使在图像遭受70%噪声污染的极端情况下, 仍能得 到很好恢复.     

汽车转弯自动照明控制系统数据采集滤波方法

为了减少汽车转弯自动照明控制系统数据滤波处理中的延时,在滑动中值滤波方法基础上,提出了一种带补偿的限幅滑动中值滤波算法,通过补偿的方式跟随信号的变化趋势。该算法通过2个步骤完成滤波,先对数据进行带补偿方式的限幅处理,再进行滑动中值滤波处理。该算法综合了滑动中值滤波法的实时性以及限幅滤波法对偶然性干扰滤除的有效性,实现更准确的滤波。仿真与实测结果表明,与滑动中值滤波方法相比较,改进后的算法滤波能够实时地滤除数据中的干扰,处理时间可减少62%,滤波效果较好,且速度信号的数据滞后时间较短,实时性较高,满足系统设计要求。     

高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测（CODHD-Stream）算法。该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的 K-means 聚类算法将数据集划分成微聚类,并检测微聚类的离群点。通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度。     

基于非对称GARCH与极值理论的商业银行信用风险度量模型

提出一种基于ARMA-TGARCH-EVT模型并适用于商业银行内部信用风险评估的新方法.首先通过广义矩法估计ARMA-TGARCH模型,获得近似独立同分布的残差序列zt;然后选用极值理论的越槛高峰模型(POT)对残差序列进行拟合分析,得到风险价值和期望损失的估计值,并采用Bootstrap方法给出95%置信水平下的置信区间;最后利用某商业银行2000-02-19～2010-12-15的日信贷资产对数收益率进行仿真,得到控制信用风险价值V和期望损失E值及置信区间,并与未经调整的预测值进行比较.研究结果表明,该方法在一定程度上克服了单纯进行极值分析时,由于序列的非独立同分布不能满足极值理论假设所造成的估计误差,改进了采用似然比率法估计置信区间时,由于极值事件的小样本所造成的偏差.     

一种改进的中值滤波算法及其应用

为有效解决传统中值滤波算法在保护图像细节方面存在的缺陷,提出了一种改进的中值滤波算法.该算法对滤波窗口中像素进行了分块处理,再对处理的数值取中值.通过对图像边缘像素进行横向和纵向扩展,改善了图像的边缘信息.将该算法应用到医学图像中,并将实验结果与其他算法进行了比较,证明了本文算法的有效性,在去除噪声的同时,更好地保护了图像的细节.     

一种稳健变差函数计算方法

稳健变差函数是克里金进行有效预测的根本保证,而现有的计算方法存在以下几个问题: 稳健性差、算法复杂、普适性差.为此,提出了一种以中值滤波方法为基础,兼顾邻域间相关性的高稳健、简单的变差函数计算方法.对新方法和现有方法的稳健性进行了分析和对比.最后,使用存在特异值的数据对所提出的方法进行了检验.结果表明,新方法不但具有高稳健性,还具有普适性强且实现简单的优点.