基于Storm的分布式实时数据流密度聚类算法

基于经典流聚类框架CluStream和密度聚类算法DBSCAN,提出了一种分布式实时数据流密度聚类算法DBS-Stream,并在Storm流式处理平台上设计了算法实现方案.该算法局部节点使用CluStream的两段式经典框架,在线微聚类中利用DBSCAN代替K-means初始化数据,在中心节点再使用DBSCAN算法进行全局聚类.该算法可解决任意型聚类问题,并可使局部节点快速更新数据.将DBS-Stream算法与CluStream算法进行比较,实验结果表明,本研究算法在聚类质量和通信代价方面均优于CluStream.     

一种改进的DBSCAN算法

聚类技术是数据挖掘中的一项重要技术,它能够根据数据自身的特点将集中的数据划分为簇.DBSCAN是一种经典的基于密度的聚类算法,能发现任意数量和形状的簇,但需设置Eps和MinPts参数,且聚类效果对参数敏感.提出一种改进的DBSCAN算法,该算法采用自适应的Eps参数使得DBSCAN算法能对具有不同密度的簇的数据集进行聚类.仿真实验结果验证了所提算法的有效性.     

基于密度的聚类算法DBSCAN的研究与实现

DBSCAN算法是一种基于密度的算法,可以发现任意形状的聚类,不受噪声影响。本文首先对基于密度的聚类算法DB-SCAN进行了描述和分析,最后给出了算法的具体实现框架。     

基于spark框架的DBSCAN文本聚类算法

针对DBSCAN算法性能上的瓶颈以及内存和I/O上的消耗严重,提出了一种大数据计算框架的并行聚类方案.选用Spark计算框架对DBSCAN算法进行并行化改进,利用SNN相似度图解决DBSCAN算法对高维数据密度定义模糊的问题,并且将DBSCAN算法运行在spark计算平台上,缓解了内存的不足.实验结果证明,该解决方案相对于单机的DBSCAN算法,聚类精度没有下降,并且通过横向的添加节点增加了运行内存,在缓解内存紧张的前提下降低了算法运行时间,和基于Hadoop的DBSCAN算法相比也有较好的加速比.     

一种基于改进DBSCAN的雷达信号分选算法

针对传统DBSCAN算法参数设置依靠人工经验的不可靠性,并且对非均匀数据聚类效果差的问题,基于云模型(Cloud Model)提出了一种CMDBSCAN算法,算法首先结合距离曲线倾角突变的特点自适应获得邻域半径,并根据雷达信号分布密度设置聚类密度点数阈值,可实现DBSCAN算法自适应运行;同时结合多维云模型理论,对DBSCAN算法分选结果进行有效性评估,利用判定结果进一步优化参数设置.根据仿真模拟的复杂对抗过程中帧收的雷达信号进行实验,证明该算法可实现非均匀雷达信号的自适应分选,同时可有效避免在多功能雷达信号分选中的"增批"问题.     

一种基于自适应网格的DBSCAN聚类算法

DBSCAN方法是一种典型的基于密度的聚类算法,因此该方法具有可以发现任意形状的类的特点,但其聚类的效率并不是很高.如果考虑将传统的网格技术引入到DBSCAN聚类算法中,虽然一定程度上会提高聚类的效率,但其聚类的质量显得较为粗糙.文章通过引入自适应网格技术,使得DBSCAN聚类算法的效率和质量都有所提高.对比数值实验表明,基于自适应网格的DBSCAN聚类算法的聚类效果是良好的.     

一种优化的基于网格的聚类算法

新的基于网格聚类算法(GCAB)利用网格处理技术对数据进行了预处理, 并引进了网格密度阈值处理和网格中心点两种技术. 实验表明, GCAB算法不仅具有DBSCAN算法准确挖掘各种形状的聚类和很好的噪声处理能力的优点, 而且具有较高聚类速度.     

基于Hadoop的港口物流大数据应用研究

物流大数据已经成为港口关键的生产要素，分析和利用大数据可有效控制经营风险，促进港口的健康可持续发展。本文基于Hadoop设计快速DBSCAN密度聚类算法，引入熵优化DBSCAN算法的核心点选择。在HDFS分布式文件系统中对大数据分块，采用Map对各个数据块完成初始聚类，并在Reduce上基于核心点扩展类融合形成最终聚类结果，以此提高大数据应用的效率。通过应用大数据对港口企业进行全面管理，为企业决策提供有效支持。     

基于DBSCAN的自适应聚类算法的研究与实现

针对DBSCAN算法的不足,提出了一种基于DBSCAN的自适应聚类算法.通过引入对象密度迅速地找到数据集中的核心样本,并从核心样本出发进行统计学分析得到Eps与MinPts之间的函数关系及相关的Eps与MinPts参数值,并利用所获参数值进行自适应的聚类;采用若干个仿真和真实数据集进行实验,评估该算法的有效性和可靠性....     

一种基于密度的网格动态聚类算法的研究

聚类算法是数据挖掘领域中一个非常重要的研究方向.至今为止人们已经提出了许多适用于大规模的、高维的数据库的聚类算法.基于密度的聚类算法是其中一个比较典型的研究方向,文中以DBSCAN为基础,提出一种基于密度的网格动态聚类算法.新算法将网格的原理运用到基于密度的聚类算法中,并采用了动态的参数法,能自动根据数据的分布情况进行必要的参数更改,有效减少DBSCAN对初始参数的敏感度,从而提高了聚类的效率和效果,降低了算法I/O的开销.算法不仅能挖掘出各种形状的聚类,并能准确的挖掘出数据集中突出的聚类.     

一种基于密度和网格的高效聚类算法

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息.目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大.因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证.实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高.     

一种基于密度和网格的高效聚类算法(英文)

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息。目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大。因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证。实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高。     

基于乘客需求数据的定制商务班车站点选址方法

针对基础的聚类算法无法适应定制商务班车站点设置的问题,在传统的基于密度的带有噪声的空间聚类算法基础上,通过衡量类簇精细化服务指标确定分组效果,并对聚类效果不理想的组别依据其数据特征自动更新以扫描半径和最小包含点数为代表的聚类参数,进行迭代聚类,直到聚类效果达标为止。同时,结合节点重要度的思想改进基于密度的带有噪声的空间聚类算法,使其能够输出备选站点。研究结果表明,改进的算法能够较好地根据数据特征给出应有分组,给出的扫描半径和最小包含点参数能够较好地适应分组情况,备选节点能够有效地匹配周围的交通资源。     

基于自适应DBSCAN的雷达目标跟踪算法

直接对三坐标航管一次雷达点迹录取器中录取到的点迹进行航迹起始、跟踪等处理后,会形成大量虚警,运算量大。进行目标跟踪时,候选点迹集合数量庞大是造成目标跟踪过程运算量大的主要原因。文中基于动态自适应DBSCAN聚类算法,结合经典卡尔曼滤波跟踪算法,提出了动态自适应DBSCAN聚类跟踪混合算法,来减少候选点迹集合数量。实验结果证明,本文提出的算法实现了无效点迹数的减少、航迹质量的提高以及运算时间的下降。通过动态自适应DBSCAN聚类跟踪混合算法,能迅速跟踪到三坐标航管一次雷达探测到的目标并形成目标航迹,可以及时发现黑飞目标,将对正常民航飞机飞行的干扰降到最低。     

一种改进的汽车雷达数据实时聚类算法

为了更好地在复杂多目标环境下进行汽车雷达数据的实时聚类,使用扩展卡尔曼滤波算法(EKF)对基于密度的聚类算法(DBSCAN)进行改进,并通过仿真和实测实验进行验证。结果表明:新算法在进行增量聚类时每次耗时可以保持在一个稳定且较低的水平;新聚类在不增加时间复杂度的情况下进行自适应聚类,可以解决汽车雷达数据密度不均匀的情况。可见新算法同时实现了增量和自适应DBSCAN聚类,同时保证聚类的效率和准确度。     

一种基于密度的增量 k-means 聚类算法研究

介绍了 k -means 和 DBSCAN 聚类算法的基本原理和优缺点,针对传统聚类算法无法有效处理高维混合属性数据集的问题,对原有的数据归一化方法进行改进,在 k -means 和 DBSCAN 聚类算法的基础之上,结合增量聚类的思想和数据之间相异度的计算方法,提出了基于密度的增量 k -means 聚类算法,有效处理具有高维混合属性的数据集,改进了数据相异度的计算方法。     

一种改进的毫米波雷达聚类算法

针对毫米波雷达数据均匀性差,数据量小,噪点多等问题,提出一种基于DBSCAN (density-based spatial clustering of applications with noise)的雷达自适应聚类算法.改进算法能够根据K近邻距离和目标反射截面自适应调整聚类半径.首先给出一种聚类半径根据K近邻距离动态调整的机制:目标第K个近邻的距离与阈值相比较,以确定阈值半径取值.再提取雷达提供的目标反射截面,基于该值计算目标假象半径作为聚类半径的补充量.实现根据目标反射截面与数据稀疏程度自适应聚类的效果.将改进算法与不同参数的DBSCAN聚类算法在真实雷达点云数据进行实验对比.相较于选取合适参数的DBSCAN算法,改进算法能够更好适应毫米波雷达点云特征,对行人目标识别准确率提高4.18％,对车辆目标识别准确率提高5.63％.     

结合SLIC超像素和DBSCAN聚类的眼底图像硬性渗出检测方法

为自动检测出眼底图像中的硬性渗出,结合简单线性迭代聚类(SLIC)超像素分割算法和基于密度的聚类算法(DBSCAN),提出一种对眼底图像硬性渗出的检测方法.首先,采用SLIC超像素分割算法对彩色眼底图像进行过分割;然后,采用DBSCAN对上述分割得到的超像素进行聚类,形成簇;最后,分割出目标图像,并选用标准糖尿病视网膜病变数据库(DIARETDB0和DIARETDB1)的眼底图像验证上述组合算法的可行性.实验结果表明:算法能够快速、可靠地检测出眼底图像中的硬性渗出,具有可直接对彩色图像进行分割、特征提取的特点.