基于spark框架的DBSCAN文本聚类算法

针对DBSCAN算法性能上的瓶颈以及内存和I/O上的消耗严重,提出了一种大数据计算框架的并行聚类方案.选用Spark计算框架对DBSCAN算法进行并行化改进,利用SNN相似度图解决DBSCAN算法对高维数据密度定义模糊的问题,并且将DBSCAN算法运行在spark计算平台上,缓解了内存的不足.实验结果证明,该解决方案相对于单机的DBSCAN算法,聚类精度没有下降,并且通过横向的添加节点增加了运行内存,在缓解内存紧张的前提下降低了算法运行时间,和基于Hadoop的DBSCAN算法相比也有较好的加速比.     

一种改进的DBSCAN算法

聚类技术是数据挖掘中的一项重要技术,它能够根据数据自身的特点将集中的数据划分为簇.DBSCAN是一种经典的基于密度的聚类算法,能发现任意数量和形状的簇,但需设置Eps和MinPts参数,且聚类效果对参数敏感.提出一种改进的DBSCAN算法,该算法采用自适应的Eps参数使得DBSCAN算法能对具有不同密度的簇的数据集进行聚类.仿真实验结果验证了所提算法的有效性.     

一种基于密度和网格的高效聚类算法

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息.目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大.因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证.实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高.     

一种改进的汽车雷达数据实时聚类算法

为了更好地在复杂多目标环境下进行汽车雷达数据的实时聚类,使用扩展卡尔曼滤波算法(EKF)对基于密度的聚类算法(DBSCAN)进行改进,并通过仿真和实测实验进行验证。结果表明:新算法在进行增量聚类时每次耗时可以保持在一个稳定且较低的水平;新聚类在不增加时间复杂度的情况下进行自适应聚类,可以解决汽车雷达数据密度不均匀的情况。可见新算法同时实现了增量和自适应DBSCAN聚类,同时保证聚类的效率和准确度。     

一种基于距离的聚类和孤立点检测算法

提出了一种基于距离的聚类和孤立点检测算法(DBCOD),根据距离阈值对数据点进行聚类,在聚类过程中记录每个数据点的密度,并根据密度阈值确定数据点是否为孤立点.实验结果表明,该算法不仅能够对数据集进行正确的聚类,可以发现任意形状的聚类,算法执行效率优于DBSCAN,具有对噪音数据、数据输入顺序不敏感等优点,同时还能有效地进行孤立点检测.     

一种基于密度和网格的高效聚类算法(英文)

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息。目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大。因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证。实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高。     

分区基于密度的聚类算法在激光雷达行人检测系统中的应用

行人检测过程中原始DBSCAN算法不能正确地对密度不均匀的激光点云聚类,产生错误的聚类结果导致行人检测系统出现误检和漏检。为解决这一问题,基于激光雷达的行人检测系统在原始密度聚类算法DBSCAN的基础上提出了分区DBSCAN算法。该算法将密度不均匀的点云数据划分为若干个密度相对均匀的分区,从而能实现对行人的快速准确检测。实验结果表明原始DBSCAN算法行人检测率为62.47%,使用分区DBSCAN算法的激光雷达行人检测系统行人检测率达到82.21%,相对于原始DBSCAN算法检测精度提高了19.74%;而且在时间消耗上也比原始DBSCAN算法降低了16.22%。     

分区DBSCAN算法在激光雷达行人检测系统中的应用

摘要 行人检测过程中原始DBSCAN算法不能正确地对密度不均匀的激光点云聚类,产生错误的聚类结果导致行人检测系统出现误检和漏检。为解决这一问题,基于激光雷达的行人检测系统在原始密度聚类算法DBSCAN的基础上提出了分区DBSCAN算法。该算法将密度不均匀的点云数据划分为若干个密度相对均匀的分区,从而能实现对行人的快速准确检测。实验结果表明原始DBSCAN算法行人检测率为62.47%,使用分区DBSCAN算法的激光雷达行人检测系统行人检测率达到82.21%,相对于原始DBSCAN算法检测精度提高了19.74%;而且在时间消耗上也比原始DBSCAN算法降低了16.22%。     

基于DBSCAN的自适应聚类算法的研究与实现

针对DBSCAN算法的不足,提出了一种基于DBSCAN的自适应聚类算法.通过引入对象密度迅速地找到数据集中的核心样本,并从核心样本出发进行统计学分析得到Eps与MinPts之间的函数关系及相关的Eps与MinPts参数值,并利用所获参数值进行自适应的聚类;采用若干个仿真和真实数据集进行实验,评估该算法的有效性和可靠性....     

一种DBSCAN聚类点密度的加权质心定位算法

加权质心定位算法是无线传感器网络中最常用的定位算法,为了进一步提高其定位精度,本文将聚类算法引入到无线传感器网络定位中,提出了一种具有噪声的基于密度的聚类算法(DBSCAN)聚类点密度的加权质心定位算法。该算法根据共线度理论选择参数,构建定位三角形的集合。选择集合中定位效果较好的一部分三角形对未知节点进行定位,并对所得的初始定位结果进行DBSCAN聚类。在排除误差较大的定位坐标后,将聚类后每个簇的核心点个数视为权值,采用加权质心定位算法得到未知节点的最终定位位置。仿真结果表明:该算法与传统加权质心定位算法相比,平均定位误差减小80%以上,有效提高了无线传感器网络定位精度。     

一种基于密度的网格动态聚类算法的研究

聚类算法是数据挖掘领域中一个非常重要的研究方向.至今为止人们已经提出了许多适用于大规模的、高维的数据库的聚类算法.基于密度的聚类算法是其中一个比较典型的研究方向,文中以DBSCAN为基础,提出一种基于密度的网格动态聚类算法.新算法将网格的原理运用到基于密度的聚类算法中,并采用了动态的参数法,能自动根据数据的分布情况进行必要的参数更改,有效减少DBSCAN对初始参数的敏感度,从而提高了聚类的效率和效果,降低了算法I/O的开销.算法不仅能挖掘出各种形状的聚类,并能准确的挖掘出数据集中突出的聚类.     

基于网格和密度的随机样例的聚类算法

为提高密度聚类算法效率并处理非空间属性约束，提出了基于网格和密度的聚类算法（GDRS）．它使用网格区域表示点的邻域，非空间属性被分为数值和字符类型．首先通过网格方法找到能准确反映数据空间几何特征的参考点；然后随机选择没有分类的参考点，并测试其邻域的稀疏状况、与其他聚类的关系以及非空间属性的约束来决定加入、合并聚类或形成新的聚类；最后把参考点映射回数据．把此算法和DBSCAN及DBRS算法进行了理论比较，并使用合成和真实数据集对GDRS和DBSCAN进行了对比．实验表明，GDRS具有密度算法的优点，即可发现各种形状的聚类并能屏蔽噪声点，且执行效率明显优于密度算法．     

基于并查集的DBSCAN算法设计

DBSCAN算法是经典的基于密度的聚类算法,能够在含有噪声的数据中发现任意形状的簇,但其效率较低．并查集常用于解决不相交集合的合并问题,将并查集的方法应用于DBSCAN算法的设计中,使得算法效率得到有效提高．     

出租车载客热点技术研究

通过挖掘北京市出租车历史轨迹数据,分析出租车载客热点区域,从而为空载行驶的出租车司机提供寻客方向.基于大数据平台的历史轨迹数据预处理,按照数据生成时间对出租车历史数据进行排序,提取历史数据中的所有乘客上车地点;使用聚类算法对提取出的上车地点进行聚类分析,提取乘客频繁出现的区域.以出租车寻找乘客为背景,分别采用基于密度的DBSCAN算法和基于距离的K-means算法对载客点进行聚类.采用聚类算法性能评估中的DB内聚指数对两种算法的聚类效果进行评估,结果显示工作日和非工作日DBSCAN算法聚类结果的内聚效果均优于Kmeans算法.     

基于 DBIRCH 算法的 Argo 剖面数据聚类

为解决实时分析处理的海洋 Argo 浮标剖面观测数据特有的数据密度较高、快速响应且需要识别任意形状簇等问题, 提出了一种可通过单次扫描数据集进行有效处理的低复杂度聚类算法 DBIRCH( Density-BasedBalanced Iterative Reducing and Clustering Using Hierarchies)。 该算法通过使用新引入的参数密度阈值修正因子,动态的更新限制 CF(Clustering Feature)树生长的约束系数子空间阈值, 同时结合密度关联思想在不同邻域内多次建立 CF 树且合并, 最终以核心 CF 树子节点为聚类结果输出, 避免了 BIRCH(Balanced Iterative Reducing and Clustering Using Hierarchies)算法对参数的过度依赖, 同时因能处理任意形状簇从而提升了数据处理的整体鲁棒性, 提高了处理 Argo 剖面监测数据的时效性和算法的整体吞吐速度。 为测试算法的综合性能, 使用真实 Argo浮标剖面实时监测数据集, 并根据不同的参数对算法做出多组对比实验, 同时使用不同评价指标对算法从运行时间和聚类准确率上进行综合评估, 从全局角度分析该算法在 DBSCAN(Density-Based Spatial Clustering of Applications with Noise)、 BIRCH 及 DBIRCH 3 种不同算法中综合聚类性能最优。 实验结果表明, 在3 种算法中,BIRCH 算法运算速度最快, 但准确率最低; DBSCAN 算法聚类性能高于 BIRCH 算法, 但运算速度最慢; 改进的DBIRCH 算法运算效率略低于 BIRCH 算法, 但聚类准确率最高。     

基于密度的聚类算法DBSCAN的研究与实现

DBSCAN算法是一种基于密度的算法,可以发现任意形状的聚类,不受噪声影响。本文首先对基于密度的聚类算法DB-SCAN进行了描述和分析,最后给出了算法的具体实现框架。     

一种基于自适应网格的DBSCAN聚类算法

DBSCAN方法是一种典型的基于密度的聚类算法,因此该方法具有可以发现任意形状的类的特点,但其聚类的效率并不是很高.如果考虑将传统的网格技术引入到DBSCAN聚类算法中,虽然一定程度上会提高聚类的效率,但其聚类的质量显得较为粗糙.文章通过引入自适应网格技术,使得DBSCAN聚类算法的效率和质量都有所提高.对比数值实验表明,基于自适应网格的DBSCAN聚类算法的聚类效果是良好的.     

一种基于密度的增量 k-means 聚类算法研究

介绍了 k -means 和 DBSCAN 聚类算法的基本原理和优缺点,针对传统聚类算法无法有效处理高维混合属性数据集的问题,对原有的数据归一化方法进行改进,在 k -means 和 DBSCAN 聚类算法的基础之上,结合增量聚类的思想和数据之间相异度的计算方法,提出了基于密度的增量 k -means 聚类算法,有效处理具有高维混合属性的数据集,改进了数据相异度的计算方法。     

局部标准差优化的密度峰值聚类算法

密度峰值聚类(clustering by fast search and find of density peaks, DPC)算法是一种基于密度的聚类算法,它可以发现任意形状和维度的类簇,是具有里程碑意义的聚类算法。然而,DPC算法的样本局部密度定义不适用于同时发现数据集的稠密簇和稀疏簇;此外,DPC算法的一步分配策略使得一旦有一个样本分配错误,将导致更多样本的错误分配,产生“多米诺骨牌效应”。针对这些问题,提出一种新的样本局部密度定义,采用局部标准差指数定义样本局部密度,克服DPC的密度定义缺陷;采用两步分配策略代替DPC的一步分配策略,克服DPC的“多米诺骨牌效应”,得到ESDTS-DPC算法。与DPC及其改进算法KNN-DPC、FKNN-DPC、DPC-CE和经典密度聚类算法DBSCAN的实验比较显示,提出的ESDTS-DPC算法具有更好的聚类准确性。     

一种优化的基于网格的聚类算法

新的基于网格聚类算法(GCAB)利用网格处理技术对数据进行了预处理, 并引进了网格密度阈值处理和网格中心点两种技术. 实验表明, GCAB算法不仅具有DBSCAN算法准确挖掘各种形状的聚类和很好的噪声处理能力的优点, 而且具有较高聚类速度.