大规模数据集聚类的K邻近均匀抽样数据预处理算法

为解决基于密度的聚类算法处理大规模数据集效率低和存储开销大的问题, 提出一种分片的基于K邻近关系的空间均匀抽样算法作为聚类应用的数据预处理过程, 将数据集分片,按密度降序方式去除数据集中部分样本的K邻居, 将剩余样本作为抽样样本, 在保证精度的同时, 可以降低数据规模, 提升计算效率. 实验结果表明, 在数据规模较大且保证聚类结果准确性的前提下, 通过降低聚类数据规模, 可以有效提升聚类效率.     

一种改进的聚类和孤立点检测算法

对基于距离的聚类及基于密度的孤立点检测方法进行了分析研究,提出了一种基于距离和密度的聚类和孤立点检测算法DDBCOD.该算法根据距离和密度阈值对数据进行聚类,并发现数据中的孤立点.实验表明,该算法能够识别任意形状的聚类,对高维数据有效,能够很好地识别出孤立点.     

基于密度万有引力改进的引力峰值聚类算法

针对密度峰值聚类算法（DPC）中存在的截断距离难以确定、局部密度定义单一的问题，本文提出了一种基于密度万有引力改进的引力峰值聚类算法（DG-DPC算法）。该算法使用相互K近邻的方法对相似性度量和局部密度进行了重新定义，然后将引力参数引入到DPC算法中，并通过新的相对局部密度与引力参数的倒数作出决策图选取簇中心，对数据集中的点进行分配。仿真实验表明，DG-DPC算法对于人工合成数据集和UCI数据集都有效，且准确率相对于基于相对密度优化的密度峰值聚类算法（RE-DPC算法）、DPC算法、基于间隙自动中心检测的密度峰值聚类算法（GAP-DPC算法）分别平均提高了31.07%、21.60%、17.20%。     

基于密度的改进聚类算法比较

针对传统K-means算法的聚类结果依赖初始聚类中心的缺陷,提出了一种基于密度的改进K-means聚类算法,该算法选择位于数据集样本密集区且相距较远的数据对象作为初始聚类中心,实现K-means聚类。针对PAM算法时间复杂度高,且不利于大数据集处理的缺陷,提出了一种基于密度的改进K-medoids聚类算法,在选取初始中心点时根据数据集样本的分布特征选取,使得初始中心点位于不同类簇。UCI机器学习数据库数据集和随机生成的带有噪音点的人工模拟数据集的实验测试证明,基于密度的改进K-means算法和基于密度的改进Kmedoids算法都具有很好的聚类效果,运行时间短,收敛速度快,有抗噪性能。     

一种面向高维数据的密度峰值聚类模型

聚类是大数据时代对海量数据进行数据挖掘与分析的重要工具.本文基于密度峰值聚类算法提出了针对高维数据的聚类模型,以直接简单的形式实现六维度以上数据的任意形状聚类.该模型实现了自动预处理过程,以局部密度较大且距离其他局部密度较大点较远的点作为聚类中心,最后引入参数调整.实验结果表明,该模型不仅对低维数据聚类实用,在高维数据的聚类效果也非常显著.     

数据挖掘技术中聚类算法的探索与研究

文章在对各种聚类算法深入分析的基础上,尤其在对基于密度的聚类算法、基于层次的聚类算法和基于划分的聚类算法深入研究的基础上,提出了一种改进基于密度和层次的快速聚类算法。该算法保持了基于密度聚类算法发现任意形状簇的优点,而且具有近似线性的时间复杂性,因此适合对大规模数据的挖掘。     

一种基于密度的启发性群体智能聚类算法

提出一种基于密度的启发性群体智能聚类算法.针对以往群体智能聚类算法中分类错误率较高、算法运行时间较长等不足,提出记忆体方法和基于密度的先行(look ahead)策略.用人工数据集和真实数据集进行实验,将实验结果进行比较分析.分析结果表明,基于密度的启发性群体智能聚类算法能够得到令人满意的聚类结果,其分类错误率和运行时间明显小于其它聚类算法.     

一种基于密度的无监督聚类算法

分析了k-means算法的缺陷、入侵检测特点和网络中数据的特点,提出了一种基于密度的无监督2次聚类算法—KD算法。该算法聚类使用改进的k-means算法并引入基于密度聚类算法的优点,以提高对单种入侵数据集及混合入侵数据集的检测效果。实验结果表明,该算法具有较高的检测率和较低的误检率。     

一种基于密度和网格的高效聚类算法

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息.目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大.因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证.实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高.     

一种基于密度和网格的高效聚类算法(英文)

聚类已成为数据挖掘的主要方法之一,能够帮助人们在大量的数据中发现隐藏信息。目前最具典型的密度聚类算法是DBSCAN(density-based spatial clustering of applications with noise),它能够在空间数据库中很好地发现任意形状的簇并有效地处理噪声,但是它的计算复杂度相对较大。因此,采用划分数据集和聚簇合并方法,提出了一种基于密度和网格的高效聚类算法DGCA,并通过人工合成数据集和真实数据集对该聚类算法进行理论验证。实验结果表明该算法在效率性能和质量方面比DBSCAN都得到了提高。     

关联规则的哈希修剪算法研究

关联规则是数据挖掘的一个基本方法,本文首先介绍传统的Apriori算法的过程,分析它在处理大数据集时存在的问题.提出关联规则的一种改进算法,称为哈希修剪算法.然后比较改进的算法与传统的Apriori算法在算法时间复杂度、性能上的差异.通过实验得出,哈希修剪算法在数据挖掘中能够更加有效的处理数据.     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

噪声大数据的MapReduce高度随机模糊森林算法

为解决日趋增长的噪声大数据分类问题,提出了一种高度随机模糊森林算法.该算法在决策树学习中生成连续属性的模糊分区,并给出在MapReduce框架中所提算法的分布式实现,用于受属性噪声污染的大数据集中学习模糊决策树的集合,该分布式实现模型可以适应计算的有效分配策略,从而产生良好的可扩展性数据,这种分布式算法使得模糊随机森林能够处理大数据集的学习和分类.高度随机模糊森林算法能够实现噪声大数据的高精度分类,为以后的大数据分析打下良好的基础.实验结果表明,所提算法比现有算法准确率更高,在属性噪声情况下,该文分类准确率也高于随机森林算法,说明该文算法的可行性和有效性.     

对象存储系统中的柔性对象分布策略

为了使对象存储系统在处理不同大小文件时兼顾并行性和负载均衡,提出一种能够结合哈希算法和分片算法的优点,同时尽量避免其缺点的柔性分布算法.柔性分布算法将大小文件的边界值界定为512Kbyte,小文件直接映射成一个对象并使用哈希策略映射到一个设备中;大文件分割成多个对象,分别放置在不同的设备里.实验结果显示:柔性分布算法在不同规模的系统中开销最小,且性能受设备数增加的影响较小.     

基于MapReduce和改进人工蜂群算法的并行划分聚类算法

针对大数据背景下基于划分的聚类算法中存在参数寻优能力不佳、初始中心敏感、数据倾斜等问题,提出一种基于MapReduce和人工蜂群(artificial bee colony,ABC)算法的并行划分聚类(the partitioning-based clustering algorithm by using im-prove artificial bee colony based on MapReduce,MR-PBIABC)算法.首先,提出基于反向学习和聚类准则函数的初始化策略(backward learning and the clustering criterion function,BLCCF),提升人工蜂群算法搜索的解质量,并将ABC算法和人工鱼群(artificial fish colony,AFS)算法结合,提出改进人工蜂群(improve artificial bee colony,IABC)算法,通过利用AFS算法最优解能力较强的特性,来提高ABC算法的寻优能力;其次,根据改进的人工蜂群算法IABC获取初始聚类中心,提出相对熵策略(rela-tive entropy strategy,RES)衡量人工鱼间的距离,保证获得的初始聚类中心是最优人工鱼状态,从而有效避免了随机选取初始聚类中心,引起的初始中心敏感的问题;再次,设计数据均衡策略(data balancing strategy,DBS),通过动态收集节点负载并分配节点间的负载,解决了节点上数据倾斜的问题;最后,结合MapReduce计算模型,并行挖掘簇中心,生成最终聚类结果.实验结果表明,MR-PBIABC算法的聚类效果更佳,同时在大数据环境下,能有效地提高并行计算的效率.     

改进的基于DBSCAN的空间聚类算法研究

针对DBSCAN算法I/O开销和内存消耗大的缺点,提出了基于层次合并的密度算法.该算法减少了DBSCAN算法中需要查询的点的数量,从而克服了DBSCAN算法I/O开销和内存消耗大的缺点.算法分析表明该算法对DBSCAN的改进是有效的.     

在一个限制条件下的线性分类算法

对于分类问题给出了一个限制条件，在此限制条件下构造了一个分类算法，此算法的运算时间是线性的，因为对于通常的分类问题，限制条件都能得到满足，因此构造的算法在分类问题中具有广泛的应用价值。     

基于模糊C-Means的改进型KNN分类算法

KNN算法是一种思想简单且容易实现的分类算法,但在训练集较大以及特征属性较多时候,其效率低、时间开销大.针对这一问题,论文提出了基于模糊C-means的改进型KNN分类算法,该算法在传统的KNN分类算法基础上引入了模糊C-means理论,通过对样本数据进行聚类处理,用形成的子簇代替该子簇所有的样本集,以减少训练集的数量,从而减少KNN分类过程的工作量、提高分类效率,使KNN算法更好地应用于数据挖掘.通过理论分析和实验结果表明,论文所提算法在面对较大数据时能有效提高算法的效率和精确性,满足处理数据的需求.     

基于离散Fourier变换的非线性滤波图像去噪算法

传统的低通滤波去噪算法在滤除噪声的同时会使图像边缘模糊，为了更好地保留图像的边缘信息，该文提出了一种保留具有较大模值的Fourier变换系数的非线性滤波方法．实验结果表明，该算法在滤除噪声的同时还能较好地保留图像的边缘信息。     

基于模式矩阵的FP-growth改进算法

数据挖掘中关联挖掘算法比较典型的有Apriori和FP—growth算法．实验和研究证明FP—growth算法优于Apriori算法．但是针对大型数据库这两种算法都存在着较大缺陷，不仅要两次或多次扫描数据库，而且很难处理支持度和数据变化等关联规则更新问题．作者提出了基于模式矩阵的FP—growth改进算法，它至多扫描数据库一次，特别在更新问题上不用重新扫描数据库．通过实验结果分析，验证了这种改进算法相对于原有FP—growth算法的优势，特别在大数据集下，大大降低了挖掘的时间复杂度．