基于自编码器和密度的融合离群点检测算法

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入"投票"思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SA...     

GDLOF:基于网格和稠密单元的快速局部离群点探测算法

为了适应高维大规模数据集的稀疏性,解决现有离群点探测算法在运用于高维大规模数据集时计算量以及时间效率均无法令人满意的现状,区别于以往文献中以点的数量作为判断稠密的阈值,在基于密度的局部异常检测算法LOF的基础上,以通过数据集中每一点周围的邻近点的状况作为判别依据,提出了稠密单元和稠密区域的概念以及基于网格和稠密单元的快速局部离群点探测算法.通过证明稠密单元和稠密区域中的点不可能成为离群点,使得算法减少了LOF值的计算量并显著提高效率.实验表明,该算法对于高维大规模数据集具有良好的适用性和有效性.     

基于AP-LOF离群组检测的配电网连接验证

现有配电网连接验证工作将可疑异常值视为具有二元属性的独立个体,因此难以有效识别和验证具有高度内在相关性的局部离群组.针对这一问题,提出了基于AP-LOF离群组检测的配电网连接验证方法.通过引入近邻传播(affinity propagation,AP)聚类方法,将待校验台区用户聚类为多簇,并基于局部离群因子(local outlier factor,LOF)算法对所有簇心进行离群点检测,从而准确识别出台区内的离群组用户.以某电力公司实际用户电压数据进行算例分析,结果证明了AP-LOF算法在配电网连接验证中的适用性和有效性.     

自然场景中字符型交通标志的检测算法

提出一种检测城市和高速公路环境中字符型交通标志的新方法.首先,在输入图像中分割出蓝色和墨绿色区域,用形态滤波和形状标记图判断交通标志的候选区域;其次,将候选区域的彩色图像灰度化,用Otsu算法计算候选区域灰度分布直方图的阈值,并对其进行分割,得到包含字符的二值图像;然后,将候选区域的二值图像向垂直方向上投影,用3次样条拟合算法对其进行拟合,利用曲线的性质,找到拟合曲线中的局部极小值点,分割出包含字符条形区域;最后,将条形区域向水平方向上进行投影和曲线拟合,查找局部极小值点并分割出单个字符区域,再进行形态过滤,分割并定位交通标志中的字符.实验结果表明:该算法的字符查全率高于84％,准确率超过92％.     

一种基于目标函数的局部离群点检测方法

针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想,又由于其需要计算每一个数据点的离群因子,在数据量过多时,计算量大大增加的问题,通过对局部离群点检测算法的分析,提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先,使用肘部法则确定数据集的最佳聚类个数;然后,通过FCM的目标函数对数据集进行剪枝,得到离群点候选集;最后,利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验,并与其他相关方法进行了对比,结果显示,该算法能够提高离群点检测精度,减少计算量,有效提高离群点检测性能.     

一种基于密度的数据流检测算法SWKLOF

总结目前数据流在线检测算法的优缺点,提出了一种新的数据流在线检测算法—SWKLOF。该算法采用滑动时间窗口对数据流进行封装,用k-距离进行剪枝,剔除大部分正常数据,对剩余疑似异常数据采用局部离群因子LOF(local outlier factor)进一步精确筛选。理论分析和实验结果表明该算法降低了时间复杂度,提高了检测准确性。     

最宽不相交多路径均衡路由算法的改进及其分析

针对最宽不相交路径(WDP)算法计算每个可行路径工作量大而且非常耗时——计算n条路径需要耗费O(n3)次迭代的问题,为了减少算法的复杂度和缩短计算候选路径的时间,提出了一种通过减少可行路径集的数量和限制计算迭代次数的改进算法,该算法使用具有可用带宽的可行路径集的子集代替所有可行路径来计算候选路径。性能分析表明:改进后的算法和最初的WDP算法相比具有较快的收敛速度和较低的计算复杂度,对于给定的通信流量能够提升网络性能。     

基于邻域和密度的异常点检测算法

为了减少基于密度的异常点检测算法邻域查询操作的次数,同时避免ODBSN(Outlier Detection Based onSquare Neighborhood)中有意义异常点的丢失和稀疏聚类中的对象靠近稠密聚类时导致错误的异常点判断,提出了一种基于邻域和密度的异常点检测算法NDOD(Neighborhood and Density based Outlier Detection)。NDOD吸收基于网格方法的思想,以广度优先扩张方形邻域,成倍地减少了邻域查询的次数,从而快速排除聚类点并克服基于网格方法中的"维灾"。新引入的基于邻域的局部异常因子代表候选异常点的异常程度,用于对候选异常点的精选,可避免ODBSN的缺陷,发现更多有意义的异常点。大规模和任意形状的二维空间数据的测试结果表明,该算法是可行有效的。     

基于MPGA的混合特征选择算法在驾驶压力检测中的应用

针对多源生理信号应用于驾驶压力检测中存在信号种类多、特征维数高以及运算效率低的问题,提出了一种结合特征选择(ReliefF)算法、最大相关最小冗余(MRMR)算法和多种群遗传算法(MPGA)的混合特征选择算法。首先利用ReliefF算法计算特征信号的权重值,初选出对分类效果影响显著的特征子集;然后利用MRMR算法去掉冗余的特征,进一步精简特征子集;在此基础上采用MPGA挑选出效果最佳的特征子集。将该算法应用于驾驶压力检测,并与其他类似算法进行了对比。实验结果表明,该算法有效地消除了高维特征中的冗余信息,提高了特征选择阶段的运算效率且达到了很好的分类效果。     

基于密度聚类的数据库入侵检测系统研究

针对现有数据库入侵检测系统高误报率的问题,提出了一种基于密度聚类数据库入侵检测系统,其检测系统过程分为2个部分,①数据训练阶段:执行事务属性的数据预处理,然后将数据集划分为训练集和测试集,使用点排序识别聚类结构(Ordering of Points To Identify Clustering Structure,OPTICS)来构建用户的正常配置文件;②入侵检测阶段:每个传入行为有2种状态,位于群集内或是集群外,根据其局部异常因子(Local Outlier Factor,LOF)值来确定事务的异常程度,对于LOF1的行为允许访问数据库,其他行为通过采用不同的监督机器学习技术进一步验证是正常值或异常值,实现入侵检测.实验结果表明,与其他现有数据库入侵检测系统相比,本文系统性能优于其他2种系统.     

基于模糊聚类的多类簇归属电力实体行为异常检测算法

针对数字化主动电网中电力实体行为复杂化、攻击手段隐蔽化等问题,提出了一种基于模糊聚类的多类别归属异常检测算法。首先,对电力实体行为相似性的度量方式进行优化,并基于优化后的度量方法构建模糊聚类算法,通过多次迭代得到实体行为对应各类别的隶属度矩阵;其次,根据类别软划分隶属度矩阵,分别计算实体在各个类别内的近邻距离、近邻密度与近邻相对异常因子等参数;最后,分析实体在各类簇内的相对异常情况,判断该电力实体行为是否属于异常行为。结果表明,与LOF,K-Means和Random Forest算法相比,新方法具有更高的异常行为检出数量和更优的异常检测评价指标,解决了传统异常检测算法样本评价角度单一的问题,进一步提高了数字化主动电网抵御未知威胁的能力。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

WCDMA系统中一种前导检测门限算法研究

在WCDMA系统的前导检测门限算法中,干扰值的估计成为算法的一个关键环节。对工程上常用的一种前导检测门限算法进行了深入的研究,针对算法在小区干扰值较大时,对应的干扰估计值偏小,从而导致前导检测虚警概率较高的问题,将各签名的幅度时延函数（amplitude delay profile,ADP）值的方差引入到干扰值的估计算法中,提出一种改进的前导检测门限算法。实验结果表明,改进算法有效地解决了干扰估计值偏小的问题,降低了前导检测虚警概率。     

面向软件漏洞检测的Fuzzing样本优化方法

软件漏洞检测在信息物理融合系统中通常使用模糊测试(Fuzzing)技术。针对Fuzzing技术中存在大量冗余的测试样本,且样本探测异常的有效性较低的情况,提出一种面向软件漏洞检测的Fuzzing样本优化的方法。首先筛除随机样本中软件不接受的样本,并通过改进的动态规划算法获得初始样本的精简集,以减小初始样本的数量;然后在测试过程中跟踪污点传播路径,利用Simhash和海明距离的改进算法求解样本传播路径相似度,通过删除相似度较高的样本进一步降低样本冗余;最后对触发异常的样本进行遗传变异构建新的测试样本,以增加样本的有效性。通过实验结果可以看出,相较于利用基于贪心算法和基于异常分布导向的方法,这里提出的方法有效减小了测试样本冗余,并且提升了测试样本的有效性。     

基于神经网络的程序异常监测

针对传统入侵检测系统的不足,研究了基于反向传播神经网络的程序异常检测方法,提出了一个改进的利用多层前馈网络的预测功能和异常区域判定方法检测系统异常的算法.详细讨论了算法的基本原理、数学基础、设计和实现方法.通过实验,分析算法的优缺点,验证了算法的可行性和有效性.     

基于层次分析法的加权LOF窃电检测方法研究

为解决传统窃电检测方法的局限性,本文提出一种基于层次分析法的加权LOF窃电检测方法。该方法首先通过对窃电现象的系统分析,提出新的用电特征指标,构建合理的窃电嫌疑评价体系;其次针对各电气指标数据异常所能代表窃电的不同概率,采用层次分析法合理量化各电气指标的权重,并结合加权LOF算法对海量用户数据进行加权离群分析,使用综合离群因子表征用户窃电嫌疑程度。最后通过实测数据验证,结果表明所提检测方法相较传统LOF算法在较低检测率时能够挖掘出更多的窃电用户,进而提升采集系统的窃电检测效率。     

面向运动目标检测的ViBe算法改进

背景差分法是静态背景下运动目标检测的常用方法,ViBe算法是它的主要建模方法之一.针对ViBe算法对鬼影消除缓慢的问题,提出了结合帧间差分技术的ViBe改进算法,使用帧间差分技术通过记录相关像素值的时域变化来判断鬼影像素,提高消除鬼影的速度.针对ViBe算法的固定阈值不能反映每个像素具体情况的问题,提出了一种自适应阈值的方法,可根据像素值的变化为每个像素设定阈值,提高前景检测的准确度.实验结果表明,结合帧间差分技术的ViBe算法能够较快地消除检测结果中的鬼影,应用自适应阈值的ViBe算法能够更准确地进行前景检测.     

基于改进强跟踪滤波器的UWB/AHRS紧组合定位方法

针对遮挡环境下的车辆定位问题,提出一种基于改进强跟踪滤波（ISTF）算法的超宽带（UWB）与航姿参考系统（AHRS）紧组合定位方法.该方法使用阈值鉴别UWB测距异常值并消除其影响,将强跟踪滤波（STF）算法应用到紧组合系统的数据融合中,并结合定位模型对算法进行改进,以提高算法的稳定性和对观测噪声的估计精度.仿真与实验结果表明,该方法能在复杂工况下提供车辆精确的定位信息,与UWB单独定位及采用几种非线性滤波算法相比,系统的鲁棒性更强、定位精度更高,具有很强的实用性.      

基于卡尔曼自回归的LTE天线端口数检测算法

在长期演进(long term evolution, LTE)系统中,传统天线端口数检测使用盲检测的方式分别对1,2和4端口数进行解码,直至物理广播信道系统消息成功通过循环冗余码校验,该方法会产生大量的计算冗余和时延。针对这一问题,提出一种改进的卡尔曼自回归天线端口数检测算法,该算法通过提取不同天线端口对应的小区参考信号得到信道状态信息,并将信道状态的相位信息进行卡尔曼自回归拟合,将自回归拟合后的相位与接收信号相位作差得到的平均值与预设判决门限进行比较,以得到天线端口数判决结果。理论分析与仿真结果表明,改进算法相较于传统盲检测算法节省的时间开销可达49%。在相同信噪比下,相较于其他优化后的门限判决算法,改进算法最多提高约10%的检测成功率且具有更优的抗频偏性能。