大规模数据集聚类的K邻近均匀抽样数据预处理算法

为解决基于密度的聚类算法处理大规模数据集效率低和存储开销大的问题, 提出一种分片的基于K邻近关系的空间均匀抽样算法作为聚类应用的数据预处理过程, 将数据集分片,按密度降序方式去除数据集中部分样本的K邻居, 将剩余样本作为抽样样本, 在保证精度的同时, 可以降低数据规模, 提升计算效率. 实验结果表明, 在数据规模较大且保证聚类结果准确性的前提下, 通过降低聚类数据规模, 可以有效提升聚类效率.     

一种基于抽样的谱聚类集成算法

谱聚类是利用样本数据集的相似性矩阵中特征向量的性质对样本数据集进行聚类.而随着数据规模的增加,谱聚类算法所耗时间会因为大规模的特征分解而明显增大.采用抽样方法可以有效降低算法所耗时间,但是简单随机抽样子集之间关联性太弱,通常无法准确反映数据集的分布特征.基于此,设计了一种新的抽样策略,利用该方法进行多次抽样,生成多个既具有关联性又具有差异性的数据子集.在每个数据子集上分别利用NJW算法(由Ng A Y、Jordom M I和Weiss Y提出)进行谱聚类,并根据最近邻原则将聚类结果映射到全体数据集,生成若干基聚类,最后,将聚类结果集成,得到最终的聚类划分.实验证明,该方法与传统NJW算法以及简单抽样集成算法相比,算法的效率及有效性有了一定的提高.     

基于连通性的三支密度峰值聚类算法

为了解决密度峰值聚类算法选择密度峰值点困难以及误分配的问题，基于流形的连通性，提出了一种改进的密度峰值聚类算法。通过使用三支密度峰值聚类算法，得到初始聚类结果与簇的边界点，根据这些边界点之间的连通性判断初始聚类之间的连接情况，并利用这些信息进行聚类结果融合。重复上述过程，每次迭代中在剩余数据里寻找密度峰值候选点，并将其纳入聚类过程，得到一种对流形数据友好的聚类算法。结果表明，所提算法在人工数据集和真实数据集上均有较好的表现，聚类准确度相较现有算法更高。基于连通性的三支密度峰值聚类算法可以在不计算路径距离的前提下，有效识别流形数据，大大降低了计算成本。     

一种基于图像熵的密度峰值聚类波段选择方法

基于将图像熵引入到密度峰值聚类算法中以确定波段信息量,提出一种基于图像熵的密度峰值聚类波段选择方法.通过构建衡量波段重要性得分,解决了传统密度峰值聚类方法在波段选择时未考虑波段信息量的问题.实验结果表明,该方法的分类精度较传统密度峰值聚类方法平均提高2.12%.     

一种基于密度的模糊自适应聚类算法

针对密度聚类算法对邻域参数设置敏感的问题,提出一种基于密度的模糊自适应聚类算法.算法在无需预先设置聚类数以及邻域参数的情况下,可以自适应地根据样本间距离关系确定邻域半径得到样本密度,并根据样本密度逐渐增加聚类中心.为了保障聚类结果的正确性,同时提出一种新的模糊聚类有效性指标以判断最佳聚类数,消除了密度聚类算法对参数的敏感性.用UCI基准数据集进行实验,发现本文算法在对数据进行聚类时,聚类质量较原始密度聚类算法在准确性和自适应性方面均有显著提高.     

基于密度万有引力改进的引力峰值聚类算法

针对密度峰值聚类算法（DPC）中存在的截断距离难以确定、局部密度定义单一的问题，本文提出了一种基于密度万有引力改进的引力峰值聚类算法（DG-DPC算法）。该算法使用相互K近邻的方法对相似性度量和局部密度进行了重新定义，然后将引力参数引入到DPC算法中，并通过新的相对局部密度与引力参数的倒数作出决策图选取簇中心，对数据集中的点进行分配。仿真实验表明，DG-DPC算法对于人工合成数据集和UCI数据集都有效，且准确率相对于基于相对密度优化的密度峰值聚类算法（RE-DPC算法）、DPC算法、基于间隙自动中心检测的密度峰值聚类算法（GAP-DPC算法）分别平均提高了31.07%、21.60%、17.20%。     

数据挖掘技术中聚类算法的探索与研究

文章在对各种聚类算法深入分析的基础上,尤其在对基于密度的聚类算法、基于层次的聚类算法和基于划分的聚类算法深入研究的基础上,提出了一种改进基于密度和层次的快速聚类算法。该算法保持了基于密度聚类算法发现任意形状簇的优点,而且具有近似线性的时间复杂性,因此适合对大规模数据的挖掘。     

基于反向K近邻和密度峰值初始化的加权Kmeans聚类入侵检测算法

传统Kmeans聚类算法的性能易受初始类簇中心随机性和类簇中心计算的迭代过程中边缘点和离群点反复计入的影响，为了避免这些影响，该文提出一种基于反向K近邻和密度峰值初始化的加权Kmeans聚类算法。通过样本的近邻信息计算每个样本的反向K近邻，针对不同规模、不同密度分布数据集，可以自适应地搜索密度峰值点作为初始类簇中心；自适应设定相对簇半径，并通过样本加权进行类簇中心迭代，在不同数据分布下可以有效降低边缘点和离群点对聚类结果的影响。试验结果证明，该算法在聚类性能提升的同时迭代次数大幅降低，随着入侵行为类型和数据规模的增加，该文聚类算法仍体现出较好的性能，且在发现未知攻击类型上效果显著。     

一种改进的聚类和孤立点检测算法

对基于距离的聚类及基于密度的孤立点检测方法进行了分析研究,提出了一种基于距离和密度的聚类和孤立点检测算法DDBCOD.该算法根据距离和密度阈值对数据进行聚类,并发现数据中的孤立点.实验表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好地识别出孤立点.     

基于层次的K-means初始化算法

K-means算法是一种常用的聚类算法,但是聚类中心的初始化是其中的一个难点。笔者提出了一个基于层次思想的初始化方法。一般聚类问题均可看作加权聚类,通过层层抽样减少数据量,然后采用自顶向下的方式,从抽样结束层到原始数据层,每层都进行聚类,其中每层初始聚类中心均通过对上层聚类中心进行换算得到,重复该过程直到原始数据层,可得原始数据层的初始聚类中心。模拟数据和真实数据的实验结果均显示基于层次抽样初始化的K-means算法不仅收敛速度快、聚类质量高,而且对噪声不敏感,其性能明显优于现有的相关算法。     

基于密度峰值聚类的电力大数据异常值检测算法

为了解决传统算法检测准确性低,复杂性高不适于电力大数据异常值检测的问题,通过密度峰值聚类算法研究了电力大数据异常值检测问题。分析了密度峰值聚类算法的聚类过程。按照聚类中心选择原则,通过相邻距离和密度的归一化乘积对聚类点的差异度进行衡量,按照差异度的统计特性与改变趋势选择最大的一组点当成聚类中心。按照z空间填充曲线与高维数据点z携带位置信息特性提出基于z的分布式密度峰值聚类算法,降低异常检测复杂性,以达到电力大数据异常值检测要求。采用优化后的密度峰值聚类算法对电力大数据异常值进行检测,在局部密度超过阈值,同时距离超过阈值的情况下,认为相应电力数据点为异常值。将基于距离的检测算法和基于密度的检测算法作为对比进行测试,结果表明:所提算法得到的异常电力数据点,和实际情况相符,和其他两种算法相比没有出现错检测和漏检测的情况。可见所提算法适于电力大数据异常值检测,且检测结果准确性高。     

基于高斯混合密度模型的医学图像聚类方法

研究了医学图像的聚类问题,提出一种基于高斯混合密度模型的K-EM聚类算法,并将此算法用于人体腹部图像数据,实现肝、肾、脾等主要器官的分类.在算法中,随机选取腹部图像像素数据,用QAIC信息准则确定训练样本的最佳类别数;用K均值聚类算法得到混合模型的初始参数;用期望最大(EM)算法多次迭代建立腹部图像数据的混合密度模型;运用贝叶斯准则,将腹部图像所有像素值划分到混合模型中相应的模型分支,得到每个器官像素值划分的正确率与误判率.试验结果表明,新算法分类的平均正确率高于85%、误判率低于10%,优于K均值算法.     

基于三支决策的密度敏感谱聚类

将三支决策与密度敏感谱聚类结合,提出了一种基于三支决策的密度敏感谱聚类算法。该算法通过在密度敏感谱聚类的聚类过程引入容差参数得到每个类的上界,然后通过扰动分析算法从上界中分离出核心域,上界和核心域的差值被认定为该类的边界域。聚类结果用核心域和边界域来表示每个类簇,可以更全面地展示数据的结构信息。与传统的硬聚类算法在UCI数据集的实验结果相比较,本文使用核心域计算聚类的评价指标DBI、AS和ACC都有所提升,较好地解决了不确定性对象的聚类问题。     

基于随机抽样和聚类特征的聚类算法

在分析BIRCH算法不足的基础上，提出了一种基于随机抽样和聚类特征的聚类算法(CLAP)，该算法采用随机抽样技术，从数据库中抽取一部分数据进行聚类的预处理过程，这样大大降低了运行时间，CLAP通过设立索引树的叶节点的直径和聚类直径，提高了聚类的精度，并采用全局搜索和局部搜索相结合的方式，消除了输入顺序对聚类质量的影响．测试结果表明，CLAP算法不仅提高了聚类速度，而且改善了聚类质量。     

基于网格密度和距离信息特征的聚类算法

摘要: 提出的基于网格密度和距离信息特征的聚类方法（GDD）通过构建基于距离的跃迁函数将局域密度波动特征与距离分布信息联系在一起,根据计算出的跃迁函数值扩展和增长聚类簇,从而避免了多数基于网格和密度的聚类算法存在的单调性搜索聚类缺陷。结合具体的跃迁函数在不同测试集上的实验结果表明：GDD算法不仅能够发现任意形状的簇和对噪音数据不敏感,且具有线性于网格数目的时间复杂性,能够回避密度分布不均对聚类结果的影响,更适合于对大规模真实数据集的聚类。     

一种多属性的时空数据聚类算法分析研究

时空聚类(spatial-temporal density based spatial clustering of applications with noise,ST-DBSCAN)算法只能处理固定属性的时空数据,且其人为设定阈值的方法具有较大随机性会导致聚类结果不理想.基于ST-DBSCAN算法存在的不足,提出了一种改进的多属性时空聚类算法.改进后的新算法采用绘制时空对象距离频数柱状图来设定自适应阈值,通过引入Gower相似系数、Dice相似系数与欧几里德距离来构建多属性相似度模型,计算多个事务对象之间属性特征的相似度大小,从而将ST-DBSCAN时空聚类算法扩展到更多属性的时空数据聚类分析中.以北京市计算机行业职位招聘信息数据进行实验仿真,实验结果表明,新提出的阈值设定方法可以有效识别部分低密度簇,提高聚类的准确性和有效性;改进后的算法具有较好的普适性与包容性,能对多属性的时空数据进行很好的聚类分析.     

基于连通图动态分裂的聚类算法

当前大部分的聚类算法都难以处理任意形状和大小、存在孤立点和噪音以及密度多变的簇,为此,文中提出了一种基于连通图动态分裂的聚类算法.首先构造数据集的l-连通图,然后采用动态分裂策略对l-连通图进行分割,把数据集分成多个互不相连的连通图子集,每个连通图子集为一类.实验结果表明,所提出的算法能够有效地解决任意形状和大小、存在孤立点和噪音以及密度多变的簇的聚类问题,具有广泛的适用性.     

基于局部密度离群点检测k-means算法

针对数据集的聚类过程容易受到离群值的影响这一问题,提出了局部密度离群值检测k-means算法,即先对数据集使用局部密度离群值检测方法检测离群值,先把离群值去除,再进行k-means聚类,算法的有效性通过Davies-Bouldin指标(DB)、Dunn指标和Silhouette指标进行评价,在人工生成的数据集与UCI数据集上验证,去除离群值,再使用k-means算法得到的聚类结果相比原始数据集进行k-means算法聚类结果较好,并且用在疫情数据分析上,对安徽省、北京市、福建省、广东省等24个省、市、自治区2020年2月18日新型冠状病毒肺炎确诊人数进行聚类分析,得到的去除离群值在使用k-means算法相比原始数据集进行k-means算法聚类结果较好,该结果能帮助更好地在实际中怎么去做决策以及更好地降低经济损失。     

基于弹性分布数据集的海量空间数据密度聚类

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.