基于密度聚类算法的异常检测

聚类算法通常用于数据的聚类,但只要对算法结果从另一角度进行分析,则可发现它还可以用于异常数据的检测. 首先介绍了数据挖掘中的聚类算法,进而结合具体实例给出应用基于密度的聚类算法DBSCAN进行异常检测的过程,最后指出最终异常数据集的确定还应结合领域专家意见.     

基于改进密度聚类的异常检测算法

提出一种基于改进密度聚类的异常检测算法(ADIDC), 通过在各特征列上分别进行密度聚类, 并根据各特征对正常轮廓的支持度进行特征加权, 解决了聚类分析方法在异常检测应用中误报率较高的问题. 通过大量基于异常检测数据集 KDD Cup 1999的实验表明, 其相对于传统异常检测方法在保证较高检测率的前提下, 有效地降低了误报率, 对某些与正常行为相近的特殊攻击检测率明显提高. 同时利用特征权值进行特征筛选提高了其检测性能和效率, 更适应实时检测要求.     

基于谱聚类算法的信息资产行为异常检测方法

在信息安全领域中,对信息资产的异常行为检测是相对困难的问题,特别是在无标记的数据集中定位某些未知的异常行为,这要求能充分找出历史数据中可以作为信息资产行为基线之内容,从而形成可靠的参照基准,并基于此对数据进行归纳和比对,分析可能存在的未知威胁.该文利用机器学习中的谱聚类算法分析相关信息资产的历史网络通信数据,基于相似性...     

基于k-medoids聚类算法的低压台区线损异常识别方法

针对低压台区线损异常情况的判断问题,以电力公司用电信息采集系统采集的日线损率数据为基础,提出了一种基于k-medoids聚类算法的低压台区线损异常识别方法,并以某地区819个台区为例进行算法可靠性的验证.首先应用局部异常因子LOF算法对低压台区异常日线损率数据进行判断、筛选和剔除;其次应用k-medoids聚类算法对日...     

基于K-Means算法的混合聚类算法研究

在使用K-Means进行文本聚类的研究中,针对K-Means算法缺点,提出了利用DBSACN算法确定参数K的方法,将基于密度的聚类算法应用于特征选取上,使得K值计算有了一定的确定性,从而提高了聚类质量。这种将多种算法混合运用的方法,为文本聚类算法的设计提供一个新的方向。     

计及可拓理论与聚类算法的变压器异常状态检测

传统变压器异常状态检测算法的有效性与精度仍然有待进一步研究。文章提出了采用投影滑动窗口和可拓K-means聚类相结合的变压器状态异常检测一般模型及分析方法。将空间状态变量投影到坐标轴加以考虑,在可拓距离度量下构造指标关联函数,按照给定的规则建立异常检测模型。以湖州某变电站各项历史监测数据对上述模型进行算例分析,结果表明,该方法可定量分析在线监测数据与变压器异常状态之间的动态关系,为实施变压器状态异常检测提供了一定的理论依据。     

一种基于OPTICS和IncLOF的异常数据挖掘算法

在动态增加的数据库环境下,异常数据挖掘中二次挖掘时需重新计算数据集中所有数据对象的局部离群因子的超高时间复杂度问题,在Ioc LOF算法中得到解决并取得良好效果.当向数据库中同时增加多条数据对象时,其算法时间效率下降很快.本文提出一种新的异常数据挖掘算法,先用改进型OPTICS算法进行聚类,然后调用Inc LOF算法仅对部分受影响的数据对象计算局部离群因子.通过实验结果表明,与传统的Inc LOF算法相比,本文提出的算法在动态增加的数据库实验环境下,不仅算法时间效率得到提高,在异常数据挖掘的精度方面也有一定的优化.     

基于改进K-means的电力数据异常检测算法

异常检测方法在电力领域有着广泛的应用,如设备故障检测和异常用电检测等.改进了传统Kmeans聚类随机选择初始聚类中心的策略;结合数据对象的密集度与最大近邻半径,选择更加接近实际簇中心的数据点作为初始聚类中心,并在此基础上提出了一种基于改进K-means算法的电力数据异常检测新方法.实验表明,上述算法具有更优的聚类效果和异常检测性能,并且在应用于电力领域时,算法可以有效地检测出异常电力数据.     

一种基于密度的分布式聚类算法

对基于密度的分布式聚类算法DBDC（density based distributed clustering）进行改进,提出了一种基于密度的分布式聚类算法DBDC＊.该算法在局部筛选代表点时结合贝叶斯信息准则BIC,得到少量精准反映局部站点数据分布的BIC核心点,有效降低了分布式聚类过程中的数据通信量,全局聚类时综合考虑了各站点数据的分布情况.实验结果表明,算法DBDC＊的效率优于DBDC,聚类效果好.     

基于DBSCAN的自适应聚类算法的研究与实现

针对DBSCAN算法的不足,提出了一种基于DBSCAN的自适应聚类算法.通过引入对象密度迅速地找到数据集中的核心样本,并从核心样本出发进行统计学分析得到Eps与MinPts之间的函数关系及相关的Eps与MinPts参数值,并利用所获参数值进行自适应的聚类;采用若干个仿真和真实数据集进行实验,评估该算法的有效性和可靠性....     

一种基于密度和网格的高效聚类算法

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息.目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大.因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证.实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高.     

基于密度和最优聚类数的入侵检测方法

针对聚类算法在入侵检测应用中存在的参数预设、聚类有效性评价、未知攻击类型检测等问题,提出了一种基于密度和最优聚类数的改进算法,根据样本的分布情况启发式地确定初始聚类中心,从样本的几何结构角度提出一种新的内部评价指标,给出了最优聚类数确定方法,在此基础上,设计了一个增量式的入侵检测模型,实现了聚类中心和聚类数目的动态调整.实验结果表明,与K-means及其他两种改进聚类算法相比,新算法收敛速度更快、聚类准确率更高,能够对未知网络行为进行有效聚类,具有较好的入侵检测效果.     

基于人工蜂群优化的密度聚类异常入侵检测算法

采用改进的人工蜂群优化算法解决密度聚类异常入侵检测中的参数和特征组合优化问题. 首先, 在初始化蜜源阶段采用不同的编码方法分别对参数和特征值进行编码; 然后, 在邻域搜索阶段利用两种搜索策略分别对参数和特征值进行搜索; 最后, 为满足异常入侵检测对低误报率的需求, 在新的适应值函数中加入误报率影响因子. 实 验结果表明, 基于人工蜂群优化的密度聚类异常入侵检测算法不仅提高了正常行为轮廓的精度, 而且降低了计算开销和存储空间, 并在一定程度上消除噪声特征的干扰, 实现了检测性能的提升.     

一种改进的汽车雷达数据实时聚类算法

为了更好地在复杂多目标环境下进行汽车雷达数据的实时聚类,使用扩展卡尔曼滤波算法(EKF)对基于密度的聚类算法(DBSCAN)进行改进,并通过仿真和实测实验进行验证。结果表明:新算法在进行增量聚类时每次耗时可以保持在一个稳定且较低的水平;新聚类在不增加时间复杂度的情况下进行自适应聚类,可以解决汽车雷达数据密度不均匀的情况。可见新算法同时实现了增量和自适应DBSCAN聚类,同时保证聚类的效率和准确度。     

一种基于协议分析和聚类的入侵检测方法

根据入侵检测中协议分析技术与聚类数据挖掘技术各自不同的检测点,提出了一种新的入侵检测方法,将协议分析技术融合到聚类数据挖掘中。KDDCUP99数据集的仿真试验结果表明了算法的可行性、有效性和扩展性,并有效地提高了聚类检测的检测率,降低了误报率。     

基于随机抽样和聚类特征的聚类算法

在分析BIRCH算法不足的基础上，提出了一种基于随机抽样和聚类特征的聚类算法(CLAP)，该算法采用随机抽样技术，从数据库中抽取一部分数据进行聚类的预处理过程，这样大大降低了运行时间，CLAP通过设立索引树的叶节点的直径和聚类直径，提高了聚类的精度，并采用全局搜索和局部搜索相结合的方式，消除了输入顺序对聚类质量的影响．测试结果表明，CLAP算法不仅提高了聚类速度，而且改善了聚类质量。     

一种基于密度的空间聚类算法

针对DBSCAN算法I／O开销和内存消耗大的缺陷,提出了基于层次合并的密度算法,基于密度的空间聚类算法可以有效地过滤噪声和孤立点数据,该算法在对于处理较大数据集上具有较大优势。     

基于距离和密度的聚类和孤立点检测算法

提出了一种基于距离和密度的聚类和孤立点检测算法.该算法根据距离和密度阈值对数据进行聚类,同时发现数据中的孤立点.实验结果表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好的识别出孤立点.