基于密度万有引力改进的引力峰值聚类算法

针对密度峰值聚类算法（DPC）中存在的截断距离难以确定、局部密度定义单一的问题，本文提出了一种基于密度万有引力改进的引力峰值聚类算法（DG-DPC算法）。该算法使用相互K近邻的方法对相似性度量和局部密度进行了重新定义，然后将引力参数引入到DPC算法中，并通过新的相对局部密度与引力参数的倒数作出决策图选取簇中心，对数据集中的点进行分配。仿真实验表明，DG-DPC算法对于人工合成数据集和UCI数据集都有效，且准确率相对于基于相对密度优化的密度峰值聚类算法（RE-DPC算法）、DPC算法、基于间隙自动中心检测的密度峰值聚类算法（GAP-DPC算法）分别平均提高了31.07%、21.60%、17.20%。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

基于高斯核函数的局部离群点检测算法

随着信息技术的快速发展,数据资源的结构越来越复杂,离群点挖掘受到越来越多人关注.基于高斯核函数,考虑数据对象的k个最近邻居,反向k近邻居和共享最近邻居三种邻居关系,估计数据对象的密度,提出了一种基于高斯核函数的局部离群点检测算法.该算法通过KNN图存储每个数据对象的最近邻,包括k最近邻,反向k近邻和共享最近邻,构成数据对象的邻居集合S;通过核密度估计KDE方法估计数据对象的密度;通过相对密度离群因子RDOF来估计数据对象偏离邻域的程度,进而判定数据对象是否为离群点,并在真实和合成的数据集上证明了该算法的有效性.     

融合相对密度与近邻关系的密度峰值聚类算法

密度峰值聚类算法(density peaks cluster,DPC)是一种基于密度的聚类算法,该算法可以聚类任意形状的类簇.在类簇间有密度差距的数据集上,DPC不能准确地选择聚类中心.DPC的非中心点分配策略会引起连续错误,影响算法的聚类效果.模糊k近邻密度峰值算法(fuzzy k-nearest neighbor DPC,FKNN-DPC)是一种改进的DPC算法,该算法采用边界点检测并结合2步分配策略来避免连续错误.当类簇间有密度差距时,FKNN-DPC的边界点检测效果不理想,此外,其非中心点分配策略缺乏对样本近邻信息的考虑.定义相对密度(relative density)并结合近邻关系(nearest neighbor relationship)提出RN-DPC算法解决上述问题.针对DPC因为类簇间的密度差距而不能准确选择聚类中心的问题,定义相对密度用于消除类簇间的密度差距.基于反向k近邻关系检测边界点并且引入共享最近邻关系来对FKNN-DPC的分配策略进行改进.RN-DPC算法在人工数据集和真实数据集上分别与不同的聚类算法进行了对比,实验结果验证了RN-DPC算法的有效性和合理性.     

基于改进密度峰值聚类的异常流量检测

针对网络异常流量检测技术准确率较低、簇的误划分等问题,提出基于改进密度峰值聚类算法的网络异常流量检测方案;首先对网络流量数据进行预处理和分组乱序,然后计算相应属性值并利用局部密度发现簇中心点,最后采用一种新的标签传递方式形成相应的簇群直至处理完所有数据。结果表明,相对于k均值算法和具有噪声的基于密度的聚类算法,基于改进的密度峰值聚类算法提升了网络异常流量的检测准确率,综合性能较优。     

云计算环境中面向大数据的改进密度峰值聚类算法

对密度峰值聚类算法进行有效改进,计算各样本点之间的距离和各样本点局部密度,选择两者中较大的样本点作为聚类中心点,根据其余样本点与各中心点的距离设定样本点所属类别;引入K近邻算法对密度峰值聚类算法进行优化,求解各样本点的距离时只需要考虑其周围由邻近值决定的若干样本点,实现距离阈值的自动选取;根据距离矩阵计算样本点的密度,绘制决策图并选择簇内中心点,将剩余点根据密度值分配给离中心点距离最近的类;最后将K近邻-密度峰值聚类算法部署至Hadoop云计算平台,用于解决大规模数据聚类的问题。仿真结果表明,通过合理设置K近邻算法的近邻值k,K近邻-密度峰值聚类算法具有较好的大数据样本聚类性能,与常用聚类算法相比,该算法具有更高的聚类准确率和聚类效率,适用于大数据样本聚类。     

一种改进的离群点检测方法

现有的离群点检测算法运用于规模较大的数据集时,其时间效率和检测效果通常不够理想.通过对离群点分布特征的分析,在计算每个数据点到其kth最近邻对象距离的同时,结合其k最近邻的分布情况,给出一种改进的离群点度量方法.基于上述思想构造的离群点检测算法DokOF能够处理混合属性数据.实验表明,该算法具有良好的适用性和有效性.     

一种基于测地距离的密度峰值聚类改进算法

密度峰值聚类算法（DPC）具有准确率高、自动检测类别个数、识别中心点数目等优良性质.由于DPC算法用欧氏距离度量样本点之间的邻近关系,导致无法有效地提取高维复杂数据中的流形结构信息.针对密度峰值聚类算法的这个瑕疵,考虑到数据点之间的几何特性和流形结构,以测地距离替代欧氏距离,设计了一种改进的密度峰值聚类算法.数值模拟结果显示,改进的密度峰值聚类算法能够有效地处理具有流形分布特征的数据聚类问题.     

数据挖掘在中观交通仿真器模型研究中的应用

为克服经典速度-密度模型刻画道路交通流动态变化特性的缺陷,将更丰富的路段检测信息运用到中观交通仿真模型参数的标定过程中. 提出先对路段检测器数据进行预处理,再采用数据挖掘中的局部加权回归,K-Means,k-最近邻以及凝聚层次聚类算法,分别将车流密度、密度与流量作为变量标定车速. 利用现场数据对算法进行了大量测试,结果表明算法是有效的,适用于基于仿真的动态交通分配系统.     

基于共享最近邻密度的演化数据流聚类算法

现有的基于密度的数据流聚类算法难于发现密度不同的簇,难于区分由若干数据对象桥接的簇和离群点.本文提出了一种基于共享最近邻密度的演化数据流聚类算法.在此算法中,基于共享最近邻图定义了共享最近邻密度,结合数据对象被类似的最近邻对象包围的程度和被其周围对象需要的程度这两个环境因素,使聚类结果不受密度变化的影响.定义了数据对象的平均距离和簇密度,以识别离群点和簇间的桥接.设计了滑动窗口模型下数据流更新算法,维护共享最近邻图中簇的更新.理论分析和实验结果验证了算法的聚类效果和聚类质量.     

结合FAST-SURF和改进k-d树最近邻查找的图像配准

针对两图像之间存在平移和旋转变化的图像匹配,提出了一种结合FAST-SURF和改进k-d树最近邻查找的图像配准算法。该算法首先用FAST(加速分割检测特征)检测器进行特征点提取,然后根据特征点周围邻域的信息生成SURF(快速鲁棒特征)描述子,采用一种改进的k-d树最近邻查找算法BBF(最优节点优先)寻找特征点的最近邻点及次近邻点,接着进行双向匹配得到初匹配点对,最后利用RANSAC(随机抽样一致性)算法消除误匹配点,findHomography函数寻找单应性变化矩阵,从而计算出图像间的相对平移量和旋转量。实验结果表明,该算法平移参数的最大误差为0.022个像素,旋转参数的最大误差为0.045度,优于传统的SURF图像匹配算法,实现了图像的快速、高精度配准。     

基于K近邻和多类合并的密度峰值聚类算法

针对密度峰值聚类（DPC）算法在处理结构复杂、 维数较高以及同类中存在多个密度峰值的数据集时聚类性能不佳的问题, 提出一种基于K近邻和多类合并的密度峰值聚类（KM-DPC）算法. 首先利用定义的密度计算方法描述样本分布, 采用新的评价指标获取聚类中心; 然后结合K近邻思想设计迭代分配策略, 将剩余点准确归类; 最后给出一种局部类合并方法, 以防将包含多个密度峰值点的类分裂. 仿真实验结果表明, 该算法在22个不同数据集上的性能明显优于DPC算法.     

基于局部K-距离的靶场异常数据检测算法

航天靶场观测数据是鉴定运载火箭性能的重要依据,数据中的异常值严重影响数据处理的质量.传统的靶场异常数据处理方法不能适应日益提高的精度要求.为了解决这一问题,文章分析了测量数据中粗大误差的特点,提出了一种适合靶场观测数据的基于局部K-距离的异常数据检测算法LKD（Local K-Distance）.该算法通过计算对象与最近k个最近邻中的最大距离来分析数据对象的稀疏程度,从而检测异常值.实验结果证明,该方法简单快速,对粗大误差的检测有效率可达90%以上.     

一种基于仿射传播的增强型流聚类算法

针对目前流聚类算法无法有效处理数据流离群点的检测和处理,以及增量式数据流聚类效率较低等问题,提出了一种基于密度度量的异常检测、删除的增强型仿射传播流聚类算法。在仿射传播流聚类算法的基础上,所提算法通过引进异常检测和删除机制改善了异常点对聚类精度、聚类效率的影响。利用仿射传播聚类实现在线数据流的聚类过程,同时检测数据漂移现象,即数据流分布特征随时间发生变化,并采用基于密度度量的局部异常因子检测技术(LOF)对储备池数据进行异常检测和删除处理,通过对当前类簇和处理过的储备池数据重聚类来重建动态数据流模型。在真实网络数据(KDD’99)上进行了实验,结果表明,所提算法不仅减少了重聚类构建动态模型的次数,改善了聚类效率,而且在同时考虑聚类精度、纯度和熵3种聚类评价标准下,均优于传统的仿射传播流聚类算法。     

丝绸之路经济带红色旅游经典景区空间格局特征及影响因素

选取丝绸之路经济带9省域红色旅游经典景区(点)作为研究对象,运用最近邻指数、核密度估算法和空间自相关分析等方法,对研究区域内红色旅游经典景区空间分布格局特征及影响因素进行了分析.结果表明,9省域红色旅游经典景区(点)最近邻指数R≈0.5224,呈集聚型分布;通过空间密度分析得知,9省域内形成了3个明显的红色旅游经典景区...     

基于反向K近邻和密度峰值初始化的加权Kmeans聚类入侵检测算法

传统Kmeans聚类算法的性能易受初始类簇中心随机性和类簇中心计算的迭代过程中边缘点和离群点反复计入的影响，为了避免这些影响，该文提出一种基于反向K近邻和密度峰值初始化的加权Kmeans聚类算法。通过样本的近邻信息计算每个样本的反向K近邻，针对不同规模、不同密度分布数据集，可以自适应地搜索密度峰值点作为初始类簇中心；自适应设定相对簇半径，并通过样本加权进行类簇中心迭代，在不同数据分布下可以有效降低边缘点和离群点对聚类结果的影响。试验结果证明，该算法在聚类性能提升的同时迭代次数大幅降低，随着入侵行为类型和数据规模的增加，该文聚类算法仍体现出较好的性能，且在发现未知攻击类型上效果显著。     

基于反向k近邻过滤异常的群数据异常检测

针对无数据标签的群数据异常检测问题,提出在无监督模式下利用k最近邻(kNN)算法检测群数据异常.为减少由于异常值与正常值之间相互干扰而产生的漏报和误报,提出用反向k近邻(RkNN)算法对异常群数据进行反向过滤.反向k近邻算法首先将统计距离作为不同群数据间的相似性度量,再用kNN算法求得每个集群的异常得分,并获得初始异常,最后使用RkNN算法对初始异常进行过滤.实验结果证明,所提算法能有效减少漏报和误报,且具有较高的异常检测率和良好的稳定性.     

基于节点向量和密度峰值的重叠社团检测方法

在真实世界网络中,数据量往往较大、维度较高,这使得数据难以处理,并且所包含的社团大多重叠,而大多数已经存在的算法针对的是非重叠社团,基于改进的密度峰值和标签传播的重叠社团检测算法(DPCL算法).采用低维向量表示网络中节点信息,根据节点的局部密度和相对距离选出中心节点.将只与一个中心节点直接相邻的节点分配到该中心节点所在的社团内,对剩余节点通过计算归属度进行分配,从而实现对重叠社团进行检测;在真实世界网络和LFR基准合成网络上与其他社团检测方法进行比较,实验结果表明能够有效的检测重叠社团.     

一种基于改进信息增益特征选择的最大熵模型文本分类方法

针对传统信息增益(IG)特征选择算法忽略词频分布的缺陷,该文提出一种新的IG特征选择算法.该算法通过引入均衡比和类内词频位置参数,解决了传统IG算法忽略词频分布对分类的弱化问题,修正传统类内词频位置参数,提高特征选择算法的文本分类精度,并将该改进IG特征选择算法用于最大熵模型(ME)对文本进行分类.实验结果表明:该文所提方法在进行文本分类时F1值高于传统IG算法.该文方法的ME分类精度高于K最近邻KNN(K-Nearest Neighbor)算法,说明本文方法是可行的、有效的.