Spark平台下聚类挖掘的智能推荐系统

为了提高智能推荐系统的性能,采用狼群优化的K-means聚类挖掘实现数据分类,通过协同过滤完成智能推荐。为了提高推荐效率,引入Spark平台多节点完成聚类和推荐。建立用户和资源的K-means聚类模型,采用狼群优化算法对初始类别中心点进行优化,以提高聚类准确度,根据用户和资源的类别属性获得用户-资源评分数据,最后建立协同过滤智能推荐模型。根据推荐效率要求,将推荐模型部署至Spark平台,实现聚类和智能推荐的分布式运算。实验证明,通过合理设置聚类中心点数目,结合Spark平台多节点运算,与常用推荐算法对比,所提算法可以获得更准确的推荐性能,在大规模数据的智能推荐系统中更能满足实时性要求,智能推荐效率高。     

一种改进的K均值聚类算法

K均值算法是聚类方法中常用的一种划分方法,有很多优点,但也存在不足之处,它对球状、凸形分布的数据具有很好的聚类效果,但对样本的输入顺序敏感,可能产生局部最优解,而且受孤立点影响比较大。本文针对这些不足之处,主要从数据预处理。初始聚类中心的选择和迭代过程聚类种子计算三方面进行改进,并做了改进前后算法的对比实验。结果表明,改进后的算法比原k均值算法具有更高的准确性,受孤立点的影响也大大降低。     

基于免疫粒子群的K均值聚类算法

粒子群算法是一类高效求解连续函数优化的随机搜索算法,在K均值聚类算法中得到广泛应用,但是在群体进化后期容易陷入局部极值,针对算法缺点,提出了一个新的聚类算法--基于免疫过程的粒子群K均值聚类算法,并将此算法与K均值聚类算法和粒子群K均值聚类算法进行比较.理论分析和数据实验证明,该算法有较好的全局收敛性,不仅能有效的克服传统的K均值聚类陷入局部极小值的缺点,而且全局收敛能力优于基于粒子群的K均值聚类算法.     

基于蝙蝠算法的K均值聚类算法

为解决传统 K-means 算法中因初始聚类中心选择不当而导致聚类结果陷入局部极值的问题, 采用蝙蝠算法搜寻 K-means 算法的初始聚类中心, 并将模拟退火的思想和基于排挤的小生境技术引入到蝙蝠算法中, 以克服原始蝙蝠算法存在后期收敛速度慢、 搜索力不强等问题。 同时, 通过测试函数验证了其有效性。 最后利用改进后的蝙蝠算法优化 K-means 算法的初始聚类中心, 并将该改进的算法与传统的 K-means 算法的聚类结果进行了对比。 实验结果表明, 改进后的算法的聚类性能比传统的 K-means 算法有很大提高。     

基于减法聚类和K均值聚类的彩色图像分割算法

传统图像分割方法大都存在分割速度低下、过度分割等缺点.针对上述问题,提出一种新的彩色图像区域分割算法.这种方法首先将图像转化至L*a*b*空间,并划分为子块,抽取图像子块的颜色、纹理和位置特征组成子块的特征向量,然后运用减法聚类,获得聚类簇数和初始蔟中心,最后利用改进的K均值算法在像素点特征空间进行聚类,进而分割图像成区域.实验结果表明这种新方法具有分割效率高、分割效果理想等优点.     

基于ARIA的K均值聚类算法研究

针对传统K均值聚类算法对初始聚类中心敏感,易陷入局部最优和对大数据集聚类速度慢的缺点,将ARIA与Kmeans算法相结合,提出了一种ARIA-Kmeans算法,即基于自适应半径免疫的K均值聚类算法。首先利用自适应半径免疫算法对数据进行预处理,产生能够代表原始数据分布以及密度信息的内部镜像数据;然后用K均值聚类算法对其进行多次聚类,获得最佳聚类中心,并将其作为初始聚类中心,推广到全部数据优化聚类效果;最后对其结果进行评价。实验结果表明,相对于传统Kmeans算法,新算法在保证聚类准确度的前提下,提高了算法运行的时间效率和稳定性。     

基于K －均值聚类的混合聚类算法

K-均值聚类算法是聚类算法中比较典型的算法之一,在其各类改进算法中都受到了离群点、初质心、类个数等因素的干扰。本文利用相似密度提出一种新的聚类初始质心选取和离群点判别方法,对K-均值聚类算法进行了改进。通过实验证明改进算法提高了聚类的有效性和稳定性。     

基于K均值算法的数据聚类和图像分割研究

K均值算法利用K个聚类的均值作为聚类中心,通过对比样本到各聚类中心的距离,将样本划分到距离最近的聚类中,从而实现样本的聚类.分析了K均值算法的基本原理和实现步骤,并将其应用于数据聚类和图像分割,取得了较好的聚类效果.最后,针对K均值算法的不足之处,提出了改进措施,提高了K均值算法的聚类性能.     

基于菌群优化的K均值聚类算法研究

为了提高数据挖掘的聚类准确度,提出了一种基于菌群优化的K均值(K-means)聚类算法.采用K均值算法建立数据聚类模型.根据聚类类别数设定多个聚类中心坐标.设定所属类别距离阈值,然后计算待聚类点和所有中心点距离来划分该聚类点的类别.根据参与聚类各节点和各自中心点的距离值建立适应度函数.引入菌群优化算法对K均值聚类过程进...     

基于马氏距离的K均值聚类算法的入侵检测

经典的 K 均值聚类算法是基于欧式距离的,它只适用于球形结构的聚类,而且在处理数据时不考虑变量之间的相关性和各变量的重要性差异.针对以上问题改进了 K 均值聚类算法,将马氏距离与 K 均值相结合,并在目标函数中增加变量权重因子和协方差矩阵调节因子,利用马氏距离优点有效地解决了 K 均值聚类算法的缺陷,最后通过实验证实了该方法的可行性和有效性     

K均值聚类算法初始质心选择的改进

聚类分析在信息检索和数据挖掘等领域都有很广泛的应用,K均值聚类算法是一个比较简洁和快速的聚类算法,但是它存在着初始聚类个数必须事先设定以及初始质心的选择也具有随机性等缺陷,造成聚类的结果不是最优的。针对K均值聚类算法中的随机指定初始质心的缺点,提出了基于密度和最近邻相似度的初始质心选择算法,实验显示该算法可以生成质量较高而且较稳定的聚类结果,但是改进的算法需要事先设定最近邻相似度的阈值计算量较大等缺点,还有待改进。     

具有全局优化能力的K均值聚类算法

传统的K均值聚类算法是确定性的迭代算法,具有探索能力弱、容易陷入局部最优的缺点.在聚类中心的更新过程中加入系数因子线性递减的随机项,使改进的迭代算法在前期具有强的探索能力,而在后期保持良好的局部搜索能力,同时保持了传统K均值聚类算法结构简单的特点.实例说明,增加了随机项的K均值聚类算法具有良好的全局优化能力.     

基于Leader的K均值改进算法

研究了K均值算法中初始聚类中心的选择对算法本身聚类精度及效率的影响,并提出了改进的算法(LK算法,Leader+K-means).LK算法中的初始聚类中心选择不是随机的,而是利用Leader算法得到若干个初始类中心,然后选择包含数据项最多的k个类中心,作为K均值算法的初始类中心.实验结果表明,LK算法在聚类结果的稳定性和正确率方面都是有效可行的.     

基于多重分形降趋算法与改进的K均值聚类滚动轴承故障诊断

针对滚动轴承振动信号非线性、非平稳的特点,提出采用多重分形降趋算法计算多重分形谱参数作为特征参数,对比分析了多重分形降趋波动分析法及多重分形降趋移动平均法提取轴承故障特征的优劣性.并提出改进的K均值聚类分析对多重分形降趋算法提取的特征参数进行分类,从而实现轴承故障诊断的目的.运用滚动轴承公开数据对方法进行验证,提取时域特征与多重分形谱参数进行对比分析,并对两种多重分形降趋算法的效果进行对比分析,验证了多重分形降趋波动分析法与改进K均值聚类相结合对轴承故障诊断的有效性,为轴承故障诊断方法提供了一种新的尝试.      

基于全局优化K均值聚类的医学图像分割方法

K均值聚类是医学图像分割中最常用的方法之一,但K均值(K-means)聚类算法一个固有缺陷,在于若初始中心点的选取有重复的中心点,则聚类结果将含有空簇而使得聚类结果没有意义,进而影响图像分割效果。针对这一缺陷,首先提出在初始选点过程中进行聚类中心优化,避免产生重复的解决办法——初始点优化K均值算法(Initialization Optimized K-means,IOK-means),继而将初始选点数据域约束到图像直方图峰值集,进一步改善聚类效果,得到全局优化K均值聚类算法(Global Optimized K-means,GOK-means)。将GOK-means应用在脑部医学图像分割的实验表明:GOK-means能够将脑部灰质、白质及骨骼部分清晰地分割,与传统K均值算法IOKmeans相比,GOK-means的初始化聚类中心成功率达到100%,聚类总体均方差降低了54.9%,验证了GOK-means的有效性。     

融合PCA降维和均值漂移聚类的协同过滤推荐算法

为了解决传统的协同过滤推荐算法中评分矩阵稀疏及近邻搜索耗时长导致的推荐准确性及时间效率有待提升的问题,设计了一种融合PCA降维和均值漂移聚类的协同过滤推荐算法PMCF。该算法用主成分分析法PCA保留最能代表用户兴趣的维度,以缓解评分矩阵稀疏问题;用均值漂移聚类算法在降维后的低维向量空间上对用户聚类,以减小目标用户最近邻的搜索范围。在Movielens数据集和HetRec2011-Movielens-2k数据集上的实验结果表明,PMCF算法能够有效地提升推荐结果的准确性,同时具有较高的时间效率。     

K均值聚类算法在海上目标识别中的应用

针对传统图像分割方法存在的弊端,本文采用K均值聚类方法对海上复杂背景下的目标识别进行研究。实验结果表明,采用该方法能够有效地进行复杂背景下海上目标的提取,并且保留目标的细节信息。     

基尼指数结合K均值聚类的协同训练算法

【目的】针对在标准协同训练中不具有充分冗余的视图分割,致使分类器错误累计过多,以及一对基分类器标记样本类别不一致的问题,提出了基尼指数结合K均值聚类的协同训练算法。【方法】该算法首先计算已标记样本中各特征的基尼指数,将该指数升序排列后均等划分到两个视图,然后在基分类器所标记的样本中,运用K均值聚类确定标记不一致样本的类别后加入标记样本。【结果】通过9个UCI数据集在3组实验上的结果表明,所提算法相较于对比算法提升了分类效果。【结论】运用基尼指数均等划分关键特征于两个视图,有利于改善视图分割不充分冗余的缺陷;K均值聚类法对分类不一致样本进行重新标记,降低了协同训练算法中的误标记率。     

改进的基于模糊C-均值聚类的图像分割算法

目前的FCM类型的算法聚类数目的确定需要聚类原形参数的先验知识,否则算法就会产生误导.为了提高图像分割算法的抗噪性能,用K均值聚类算法简单、快速的优点对模糊C均值聚类算法进行改进.结合图像的邻域信息,对图像的直方图作均衡化处理,改善图像质量,通过自适应滤波,降低噪声对分割效果的影响.先用K均值聚类算法对图像进行分割,快速的获得较为准确的聚类中心和初次分割图像,避免了FCM算法中初始聚类中心选择不当造成的死点问题.用邻域灰度均值信息代替传统模糊C均值聚类算法中的灰度信息,对K均值聚类得到的图像作二次分割.该方法能更好的抑制噪声的干扰,提高了聚类算法的分割精确度.     

Spark平台下KNN-ALS模型推荐算法

考虑Spark大数据平台内存计算框架在迭代计算的优势,提出Spark平台下KNN-ALS模型的推荐算法.针对矩阵分解算法只考虑隐含信息而忽视相似度信息的缺陷,将相似度信息加入评分预测中,并采用适合并行化的交替最小二乘法进行模型最优.在MovieLens数据集上的实验表明:该算法能够提高协同过滤推荐算法在大数据集下的处理效率,且加速比也达到并行处理的线性要求,相比其他方法有较好的精度.