异常数据挖掘在Web服务器日志文件中的应用

讨论了基于距离的异常点检测算法,分析了使用该算法进行异常点检测时效率较低、需要设置参数、算法实现困难等缺点;利用基于距离和的异常点定义方法及基于抽样的近似检测算法实现Web服务器日志文件的异常数据检测.实验结果表明了算法的有效性.     

基于SLIC-DPC算法的车辆检测研究

针对密度峰值聚类算法存在对噪声敏感,在图像较大时检测时间较长等问题,以停车场车位为检测研究对象提出一种简单线性迭代聚类-密度峰值聚类算法.首先对线性迭代聚类算法中颜色与空间距离值进行分析;接着运用主成分分析算法对图像的特征矩閜进行降维;其次改进线性迭代算法的距离函数以处理像素边界和形状;最后将算法运用于停车场车辆检测,...     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

一种基于多传感器融合的车辆检测与跟踪方法

针对城市道路环境,提出了一种基于激光雷达和视觉的车辆检测与跟踪方法.首先,采用透视变换和多传感器联合标定,根据激光雷达数据生成包含车辆假设的兴趣区域,以提高车辆检测的可靠性和降低图像处理的计算量;然后,提出了一种基于多维特征空间马氏距离的车辆检测算法,通过提取兴趣区域内图像特征向量,并将其与标准向量间的马氏距离作为车辆状态估计;最后,采用Kalman滤波实现车辆运动跟踪.为了提高鲁棒性,将粒子滤波算法与Kalman滤波相结合,以在雷达信息不准确的情况下准确地实现目标状态估计.实验结果表明,该方法在城市环境中取得了比较理想的车辆跟踪效果.     

基于模糊聚类的车辆运动轨迹建模

为提高车辆运动行为模式的学习与分析水平,综合考虑车辆运动轨迹特点及其建模的相关要求,提出了一种车辆运动轨迹建模方法.该方法主要由轨迹模糊聚类和路径建模两部分组成,首先拓展采用改进Hausdorff距离衡量轨迹之间的几何相似性,并基于此构建了改进模糊C均值轨迹聚类算法,用于实现车辆运动轨迹的聚类;在轨迹聚类的基础上,建立了基于离散状态的路径模型,并进而提出了相应的轨迹异常检测算法.最后,在真实场景下的试验结果验证了本文方法的适用性和有效性.     

基于加权直觉模糊兰氏距离的密度峰值聚类算法

利用传统的聚类算法对直觉模糊集进行聚类分析时,存在对异常值敏感、复杂度较高的问题,不适用于大规模直觉模糊数据的聚类。针对上述问题,提出了一种基于密度峰值思想和加权兰氏距离的直觉模糊聚类算法（WIFDPL）,用来提高算法对直觉模糊数据的检测精度,降低算法的复杂度。由于现有直觉模糊距离算子不满足距离度量的定义,提出了一种新的直觉模糊兰氏距离算子,减少了数据的偏移程度,降低了对异常值的敏感程度;由于凝聚型层次聚类算法复杂度较高,采用密度峰值聚类算法对直觉模糊集进行聚类,显著提高了算法的运行效率。实验结果表明,利用改进的直觉模糊兰氏距离提高了聚类精度,且新算法复杂度较低,更适用于大规模直觉模糊集的聚类。     

基于深度卷积网络的工程车辆检测算法

为了解决传统的小尺度密集工程车辆检测算法存在检测速度慢、鲁棒性差、识别准确率低等问题,采用基于改进型YOLO v3的卷积神经网络工程车辆检测算法,使用目标框与真实框交并比作为损失函数替代聚类算法中的欧式距离,同时结合工程车辆检测时标注真实框的特点,对候选框进行聚类;改进评估模型的损失函数,构建适合小尺度密集车辆的网络结构.在自制数据集上进行试验,结果表明,该方法对小尺度密集工程车辆的检测精度明显提高,准确率能够达到81.1%,召回率能达到95.9%.     

一种基于贝叶斯后验的异常值在线检测及置信度评估算法

为识别一类更新速度快、变化趋势平缓、缺少人工类标的大数据量工业时间序列中所存在的异常值,提出了一种以贝叶斯后验为基础的异常值在线检测及置信度评估算法.算法将预测检测和假设检验相结合,首先建立时间序列自回归模型,然后对预测残差作基于贝叶斯原理的后验检验,用后验概率对数比确定序列中的异常值.为减少识别过程中的误判,在检测完成后,利用自组织映射神经网络计算状态转移概率,进一步对已标记的异常值进行置信度评估.通过定期更新模型,算法各参数能动态保持与数据变化规律同步,提高了检测的准确率.实验结果表明,该算法能够对时间序列异常值准确快速地进行在线检测,同时给出可靠的置信度评估,具有较高的实用价值.     

基于自适应特征选择的夜间运动车辆检测算法

针对夜间交通环境的特点,提出了基于自适应特征选择的夜间运动车辆检测算法.首先,利用SIFT算法提取夜间运动车辆的形状特征,并融合颜色和纹理特征,得到夜间运动车辆的特征向量;其次,利用Boosting算法和遗传算法以迭代形式获取模糊规则及其权值;然后,采用Boosting算法以加权投票方式自适应选取对检测最有利的特征,从而实现自适应特征选择;最后,对夜间交通场景下3种不同道路情况进行实验.实验结果表明,在遮挡、光照及背景干扰等复杂情况下,该方法可以根据背景信息的不同自适应地选择特征,实现夜间车辆的实时检测,鲁棒性较好,可以满足智能交通系统的实时性和准确性的要求.     

基于快速峰值聚类的高速公路异常事件识别方法

为准确全面感知高速公路交通运行状况,根据高速公路海量收费数据,提出一种高速公路通行异常事件识别的数据挖掘方法。首先,选取贵州省2017年1月的高速公路收费数据,筛选指定的进站、出站数据并去除多余字段,利用车辆进入和驶出收费站时间计算其在该路段的通行时长。然后,使用快速峰值聚类算法对通行时长和车辆总重进行聚类分析,计算数据间欧式距离,将此距离矩阵作为算法输入,计算各数据点的局部密度ρ及与密度更高点的距离δ两项指标;这两项指标均以较高的点为聚类中心,进而对非中心点进行分类及优化,输出聚类结果;聚类结果中除被分为若干类的正常数据外,还存在一些数据点明显异于大部分正常数据的噪声点,即异常数据,对这些异常数据进行具体分析。接着,采用孤立点检测法对筛选出的数据进行清洗处理,提取异常数据,检测出通行时间过长、过短及车辆总重过高、过低等异常事件。最后,将孤立点检测法得到的异常数据与快速峰值聚类算法的异常数据进行对比。研究结果表明:快速峰值聚类识别异常事件的准确率高于孤立点检测法约20%,验证了提出算法的有效性和准确性;提出的算法能有效准确识别收费数据中隐藏的公路拥堵、长时间停留、疑似逃费和网络设备故障等异常事件,进而为高速公路运营服务和管理决策提供数据支持。     

基于多元数据特征和改进随机森林的智能配电网异常数据辨识

智能配电网异常数据的准确辨识对于提高电网安全运行和调度具有重要意义。本文提出一种基于多元数据特征和改进随机森林算法的异常数据辨识方法。首先,在分析异常数据辨识过程的基础上,利用k-means、箱线图法等提取原始数据异常特征;考虑配电网技术需求,挖掘电网运行的衍生特征。然后,针对类不平衡问题提出结合过采样方法的混合Bootstrap抽样和加权投票策略,引入信息增益率优化最优特征选择,增加算法稳定性。最后,仿真分析了决策树数量和衍生特征对算法辨识性能的影响,并与支持向量机、神经网络等算法进行性能比较。实验结果表明本文方法有效、合理,具有优异的辨识性能和效率。     

基于遗传算法优化单类支持向量机的油田离心泵注水站异常检测

目前油田离心泵注水站多采用传统的人工巡检等方式进行异常检测,存在浪费大量资源且检测精度不高的情况。针对此问题,提出一种基于遗传算法优化单类支持向量机(genetic algorithm optimized one-class support vector machine, GA-OC-SVM)的注水站异常检测方法。首先,对注水站数据进行标准化、归一化处理以及特征提取;其次,使用遗传算法进行寻优得到最佳种群个体值作为单类支持向量机的参数,建立检测模型;最后,将GA-OC-SVM算法与孤立森林算法、局部离群因子算法等主流方法用于测试数据集的异常检测对比,并分析算法的精度,采用接受者操作特征(receiver operating characteristics, ROC)曲线进行模型评价。结果表明所提出的GA-OC-SVM算法更优,检测精度达到99%,同时能够节省大量的人力物力资源。     

基于特征组合分析的主泵异常检测方法

为了解决传统阈值法在核电站主泵状态数据异常检测中的误判、实时性差等问题,提出一种基于单维状态数据特征分析和多维状态数据特征分析相结合的方法。对于单维状态参量,使用AR(auto regressive)模型拟合获得模型参数,再结合SOM(self organizing maps)神经网络的量化结果得到单维状态参量随时间变化的过渡概率序列;对于多维状态参量,使用OPTICS(ordering points to identify the clustering structure)算法聚类生成不同的模式组;然后根据两类特征提取结果综合分析,得到异常检测模型;最后将检测模型应用于主泵状态数据异常检测,并与其他方法进行比较。实验结果表明此模型在准确性、实时性上更具优势。     

基于支持向量机的网络流量异常检测

提出了一种基于支持向量机的网络流量异常检测方法.分析了支持向量机的基本原理,结合网络流量异常检测的特点,讨论了异常检测的特征选择问题;提出了网络流量对称性、TCP报文SYN和SYN/ACK对称性以及协议分布等具有鲁棒性的特征参数,描述了数据的预处理方法.测试结果表明,所选特征参数可有效地检测网络攻击导致的流量异常变化,说明基于支持向量机的检测方法具有较好的泛化能力.     

博物馆监控视频中慢速移动稀疏目标异常轨迹检测研究

传统异常轨迹检测方法将轨迹序列看作轨迹特征,无法有效描述轨迹,导致异常轨迹检测结果不可靠。为此,提出一种新的博物馆监控视频中慢速移动稀疏目标轨迹检测方法。采用一种快速计算方法对和目标相似度较高的粒子进行筛选,滤除和均值相差较大的粒子。对跟踪目标进行稀疏表示,为了避免目标被干扰或遮挡,进行非负性约束优化,完成稀疏求解,获取博物馆监控视频中慢速移动稀疏目标跟踪结果。依据跟踪结果将可代表整体轨迹的特征向量与部分可代表局部轨迹的特征向量合成一个整体特征向量,利用整体特征向量对慢速移动稀疏目标轨迹进行描述,通过描述结果和K聚类方法实现目标异常轨迹检测。实验结果表明,所提方法检测的异常轨迹与其他轨迹之间的差异最大,检测结果可靠,实际应用性较高。     

基于混沌差分优化算法的网络入侵检测系统

开发一套新的网络入侵检测系统来证实应用混沌差分优化算法入侵检测技术的有效性。这个系统联合了基于混沌差分优化算法的异常检测和基于专家系统的滥用检测,在开发异常检测的部分时,利用混沌差分挖掘技术来从正常的行为存储模式中寻找差异,根据混沌差分进化算法的全局搜索性选择一个合适的特征集合,滥用检测部分用于寻找特征集合中异常行为描述模式,这种模式很可能预示着入侵,网络的通信量和系统的数据被用做两个元件的输入。此系统的系统结构既支持异常检测又支持滥用检测、既适用于个人工作站又可以适用于复杂网络。     

网络切片中物理节点的分布式在线异常检测方法

网络切片中的异常检测问题是实现网络切片自动化管理的重要研究内容,针对网络切片中物理节点的异常检测问题,提出了基于支持向量数据描述的分布式在线物理节点异常检测方法.基于支持向量数据描述建立了一种分布式的物理节点异常检测模型;通过引入随机近似函数,解决了数据分布式存储场景下的核函数计算问题,从而实现观测数据的切片内处理;基于随机梯度下降法,提出了一种在线的物理节点异常检测算法,保证了模型动态更新并减轻了异常数据导致的模型性能下降.在不同条件下进行了仿真分析,仿真结果表明,该方法可在避免切片间观测数据传输的同时,有效利用网络切片中虚拟网络功能的无标签观测信息检测物理节点异常.     

基于QPSO小波神经网络的网络异常检测

为了提高网络异常检测中,对异常状态的检测率,降低对正常状态的误判率,提出一种基于量子粒子群优化算法训练小波神经网络进行网络异常检测的新方法.利用量子粒子群优化算法(QPSO)训练小波神经网络,将小波神经网络(WNN)中的参数组合作为优化算法中的一个粒子,在全局空间中搜索具有最优适应值的参数向量.实验数据采用KDD CUP99数据集,实验结果表明:该学习算法与传统的梯度下降法(GD)和粒子群算法(PSO)相比,收敛速度快,具有更好的全局收敛性,提高了异常检测的准确性,同时该方法对于新的异常也有较高检测率.     

一种基于链码向量的图像匹配算法

基于特征的图像匹配算法被广泛应用于图像处理和模式识别领域中,图像特征提取以及采用的匹配算法并直接决定图像匹配的效果。为了尽可能准确的实现图像匹配,提出了一种基于链码向量的边缘特征匹配算法。首先通过改进的Laplace边缘检测算子提取图像中的边缘信息,提高了边缘检测的可靠性;然后,将提取到的边缘信息由边界链码描述,并将边界链码构造成向量,利用数学向量相似度原则进行图像匹配。实验结果表明,该匹配算法简单快速,匹配准确率高,具有较高的实用价值。