基于粒子群优化与模糊聚类的社区发现算法

针对现有基于改进的K-means模糊聚类的社区发现算法(k-means algorithm for community structures detection based on fuzzy clustering,NKFCM)执行效率较差的问题,将粒子群算法与模糊聚类算法相结合提出了基于粒子群优化与模糊聚类的社区发现算法(community detection algorithm based on particle swarm optimization and fuzzy clustering,PFCM).该算法首先进行迭代运算,找出初始聚类核心,利用以云模型为运行条件的粒子群优化算法确定最优聚类核心与最佳社区个数,最后利用模糊聚类算法(fuzzy c-means algorithm,FCM)进行具体的社区划分.理论解析与测试结果表明:该算法发现网络社区的准确性较高,且与NKFCM算法相比,PFCM在处理网络数据时执行效率获得了极大地提升.     

基于拟蒙特卡洛的K均值聚类中心初始化方法

针对传统K-means算法随机选择初始聚类中心容易造成聚类结果不稳定且准确率低等问题,基于拟蒙特卡洛(Quasi-Monte Carlo,QMC)方法提出一种新的初始聚类中心确定方法;该算法利用QMC序列分布的超均匀性特点,对整个样本空间中的样本分布进行采样估计;基于k近邻距离(k-distance)对QMC序列点进行加权的K-means聚类,得到初始聚类中心。该算法的计算复杂度为O(max(d、n)logn),其中d、n分别表示样本数据的维数和数量;在人工数据和实际数据集上的仿真实验表明,该算法能选择更优的初始聚类中心,有效降低K-means算法的迭代次数,提高聚类的准确性、鲁棒性和收敛速度。     

基于密度的改进聚类算法比较

针对传统K-means算法的聚类结果依赖初始聚类中心的缺陷,提出了一种基于密度的改进K-means聚类算法,该算法选择位于数据集样本密集区且相距较远的数据对象作为初始聚类中心,实现K-means聚类。针对PAM算法时间复杂度高,且不利于大数据集处理的缺陷,提出了一种基于密度的改进K-medoids聚类算法,在选取初始中心点时根据数据集样本的分布特征选取,使得初始中心点位于不同类簇。UCI机器学习数据库数据集和随机生成的带有噪音点的人工模拟数据集的实验测试证明,基于密度的改进K-means算法和基于密度的改进Kmedoids算法都具有很好的聚类效果,运行时间短,收敛速度快,有抗噪性能。     

一种改进地标点采样的不平衡数据聚类算法

对不平衡数据进行聚类分析时,K-means聚类方法可能会错误地将分布在较小区域类别中的样本划分到大区域类别中;谱聚类算法,虽然可以有效优化数据结构,并很好地识别不同形状的样本,但却难以处理大规模数据.针对这些问题,提出一种改进地标点采样的不平衡数据聚类算法.该算法首先对不平衡数据进行预聚类以获得初始类标签,然后基于数据密度对数据进行采样.在此基础上,通过对采样数据执行K-means聚类,并将聚类中心作为地标点,对数据进行谱聚类分析.实验结果显示,该方法在处理不平衡数据时,不仅能够有效提高样本的聚类准确率,而且能够保证聚类结果的稳定性和精度.     

基于粒子群的三支聚类算法

针对K均值聚类(K-means)算法处理复杂问题时易陷入局部最优值、聚类质量较差等不足,提出一种基于粒子群的三支聚类算法.该算法先以随机产生的聚类中心组合作为初始粒子,构成粒子群;然后,通过调整算法中的速度公式参数,使粒子在迭代过程中能较快速地找出全局最优解,即最优的聚类中心;最后,采用三支决策的方法考察数据与类的关系,把确定归属的数据分配到类的核心域,归属不确定的数据分配到类的边界域.实验结果验证了所提算法的有效性,在寻找全局最优值和聚类结果准确性等方面算法都具有较好的性能.     

一种高效的K-means聚类改进算法

针对传统K-means算法在初始质心选取的敏感性以及迭代计算的冗余性这两方面的缺陷,提出一种高效的聚类算法(ECA).根据数据对象的空间分布情况,首先采用空间划分预聚类算法(SDPCA)对数据集实现预聚类划分,然后采用基于邻近簇调整的优化聚类算法(OCANC)对预聚类成果进行优化处理,最终获取聚类成果.实验证明,该改进算法能消除对初始输入的敏感性,以更高的运行效率获取较高质量的聚类结果.     

基于改进RPCL的K-means聚类算法

针对现有(Rival Penalized Competitive Learning,RPCL)算法之不足,提出根据样本数据集自然分布规定样本密度,把此密度代入次胜者受罚竞争学习算法(RPCL)节点权值调整的改进RPCL算法;以改进RPCL算法对数据集进行预处理,确定K-means算法的合理类簇数目和最佳初始聚类中心,提高K-means算法的聚类效率和聚类准确性,促进其尽快地收敛至全局最优解。     

一种基于MapReduce高效K-means并行算法

针对K-means算法对初值选取的依赖,收敛速度慢,聚类精度低,以及对海量数据的处理存在内存瓶颈的问题,提出一种基于MapReduce的高效K-means并行算法.该算法在MapReduce框架基础上,结合K选择排序算法进行并行采样,提高采样效率;采用基于样本预处理策略获取初始中心点;使用权值替换策略对迭代中心进行更新;此外,通过调整Hadoop集群,对算法的运行效率作出进一步提升.实验结果表明,该算法不仅具有良好的收敛性、准确率、加速比,算法性能也得到进一步改善.     

基于K-means聚类和遗传算法的少数类样本采样方法研究

传统的分类器对不均衡数据集的分类严重倾向于多数类.为了有效地提高不均衡数据集中少数类的分类性能,针对此问题提出了一种基于K-means聚类和遗传算法的少数类样本采样方法.通过K-means算法将少数类样本聚类分组,在每个聚类内使用遗传算法获取新样本并进行有效性验证,最后通过使用KNN和SVM分类器,在仿真实验中证明了方法的有效性.     

一种适用于不均衡数据集分类的KNN算法

传统的K-最邻近(K Nearest Neighbor,KNN)分类算法在处理不均衡样本数据时,其分类器预测倾向于多数类,少数类分类误差大。针对此问题从数据层的角度改进了传统的KNN算法。先通过K-means聚类算法将少数类样本聚类分组,将每个聚类内的样本作为遗传算法的初始种群;再使用遗传交叉和变异操作获取新样本,并进行有效性验证。最终获取到各类别样本数量基本均衡的训练样本集合。实验结果表明此方法有效改善了KNN算法对少数类分类效果。此法同时适用于其他关注少数类分类精度的不均衡数据集分类问题。     

近邻密度分布优化样本分配的改进DPC聚类算法

DPC算法是一种能够自动确定类簇数和类簇中心的新型密度聚类算法,但在样本分配策略上存在聚类质量不稳定的缺陷.其改进算法KNN-DPC虽然具有较好的聚类效果,但效率不高而影响实用.针对以上问题,文中提出了一种近邻密度分布优化的DPC算法.该算法在DPC算法搜索和发现样本的初始类簇中心的基础上,基于样本的密度分布采用两种样本类簇分配策略,依次将各样本分配到相应的类簇.理论分析和在经典人工数据集以及UCI真实数据集上的实验结果表明:文中提出的聚类算法能快速确定任意形状数据的类簇中心和有效地进行样本类簇分配;与DPC算法和KNN-DPC算法相比,文中算法在聚类效果与时间性能上有更好的平衡,聚类稳定性高,可适用于大规模数据集的自适应聚类分析.     

基于K-means聚类特征消减的网络异常检测

针对基础K-means算法在KDD 99数据集中检测罕见攻击效果差且效率低下等问题,该文通过数据统计的方式对数据集中各维度与每类攻击类型的相关分析发现,罕见攻击极易被大量的常见攻击所淹没,而当常见攻击被移去时,这些威胁性更大的罕见攻击则能够被更好地识别出来。基于此,该文提出一种改进的基于K-means分层迭代的检测算法,通过有针对性的特征选择来降低K-means聚类的数据维度,经过多次属性消减的K-means聚类迭代操作可以更加精准地检测到不同异常类型的攻击。在KDD 99数据集上的实验结果表明:该算法对原基础的K-means检测算法难以检测到的罕见攻击类型U2R/R2L攻击检测率几乎达到99%左右。同时随着每次分层迭代聚类维度近50%的降低,进一步节省了约90%的异常检测时间。     

基于最小生成树的多层次k-Means聚类算法及其在数据挖掘中的应用

针对传统聚类算法存在挖掘效率慢、 准确率低等问题, 提出一种基于最小生成树的多层次k-means聚类算法, 并应用于数据挖掘中. 先分析聚类样本的数据类型, 根据分析结果设计聚类准则函数; 再通过最小生成树对样本数据进行划分, 并选取初始聚类中心, 将样本的数据空间划分为矩形单元, 在矩形单元中对样本对象数据进行计算、 降序和选取, 得到有效的初始聚类中心, 减少数据挖掘时间. 实验结果表明, 与传统算法相比, 该算法可快速、 准确地挖掘数据, 且挖掘效率提升约50%.     

基于局部和全局信息的正则化迭代聚类

聚类是一种高效的数据分析方法,经典的K-means算法只适用于类簇为凸形的数据集,谱聚类算法虽然避免了K-means的一些缺点,但相似度中的参数设置问题以及较高的计算、存储复杂度对聚类有所限制.基于局部和全局信息的正则化迭代聚类,先取部分数据作为一个整体聚类,然后逐渐加入少量数据进行迭代求解.该方法继承传统谱聚类的优点,充分利用局部正则化和全局正则化信息,通过迭代方式求解使较大规模数据聚类成为可能.通过实验对比结果显示,该算法有良好的聚类效果.     

改进模糊聚类算法及其在入侵检测中的应用

针对将数据集隶属度概率和为1的条件用于模糊性事件时,影响聚类的正确率的情况,在不确定理论的基础上,研究了数据隶属度问题,提出一种新的基于隶属关系不确定的可能性改进模糊聚类算法.该算法在迭代过程中将聚类的可能隶属度与不确定性隶属度引入到目标函数中,使得样本中的元素不局限于仅属于一个聚类,与现有的聚类算法相比具有更好的聚类结果.通过在KDDCUP99数据集上实验,验证了该算法在入侵检测中的检测率为95.8%, 分别高于K-均值算法的检测率(60.4%)和FCM算法的检测率(64.6%).     

小波图像压缩编码中小波基的选择技术研究

传统的分类器对不均衡数据集的分类严重倾向于多数类。为了有效地提高不均衡数据集中少数类的分类性能,针对此问题提出了一种基于K-means聚类和遗传算法的少数类样本采样方法。通过K-means算法将少数类样本聚类分组,在每个聚类内使用遗传算法获取新样本并进行有效性验证,最后通过使用KNN和SVM分类器,在仿真实验中证明了方法的有效性。     

基于信息熵改进的 K-means 动态聚类算法

初始聚类中心及聚类过程产生的冗余信息是影响K-means算法聚类性能的主要因素,也是阻碍该算法性能提升的主要问题.因此,提出一个改进的K-means算法.改进算法通过采用信息熵对聚类对象进行赋权来修正聚类对象间的距离函数,并利用初始聚类的赋权函数选出质量较高的初始聚类中心点;然后,为算法的终止条件设定标准阈值来减少算法迭代次数,从而减少学习时间;最后,通过删除由信息动态变化而产生的冗余信息来减少动态聚类过程中的干扰,以使算法达到更准确更高效的聚类效果.实验结果表明,当数据样本数量较多时,相比于传统的K-means算法和其他改进的K-means算法,提出的算法在准确率和执行效率上都有较大提升.     

一种混合遗传禁忌搜索的模糊聚类算法

传统基于目标函数法的模糊聚类算法是一种迭代的"爬山"算法,容易陷入局部最优解.提出了基于遗传算法与禁忌搜索结合的模糊聚类算法,综合运用遗传算法的多出发点和禁忌搜索的记忆性来改善聚类的效果,并通过迭代的遗传禁忌搜索算法产生最优聚类中心,实验中分别通过人工数据和标准数据测试验证了该算法的有效性.     

基于改进Fast-MCD的稳健数据预处理方法

对于工业过程数据中的离群点,一般采用稳健估计技术处理.针对Fast-MCD算法中初值随机给定,以及当样本数据较大时,人为给定分堆个数的缺点,提出了一种基于模糊聚类的改进稳健估计算法,即采用聚类中心及聚类个数分别作为Fast-MCD算法的初值及分堆个数选择依据,从而提高计算效率,并使样本数据较大时的分堆计算更合理.将本方...     

基于Spark的改进K-means快速聚类算法

针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.