稀疏谱聚类方法及应用

提出了一种新的谱聚类算法:基于K-Medoids的SSKM聚类,不仅利用距离指数变换函数及稀疏化算法构建了分块对角矩阵以重新解释样本之间的相似度,还结合PAM算法取代传统谱聚类中的k-means算法对特征向量聚类以提高算法的聚类稳定性.为了使SSKM算法能够有效地处理高维数据,引入了高相关系数过滤及主成分分析降维技术,提出了SSKM算法的新版本HSSKM,能够识别高维数据结构以减少原始数据的特征规模.模拟数据及高维基因表达数据结果表明新算法具有聚类稳定、聚类结果更精确等显著性能.     

基于信息熵属性赋权的谱聚类算法研究

针对谱聚类算法在处理较大规模的样本时,在存储空间和计算时间上都存在瓶颈问题,文章分析了目前常见的两种解决方式,即基于稀疏化t近邻的谱聚类和基于Nystr9m矩阵低秩逼近的谱聚类方法.为了进一步提高这两种谱聚类算法的准确度,提出了采取基于信息熵属性赋权的欧式距离来计算样本间的相似度的方法.首先,计算样本各属性的权重;然后,计算样本间的相似度矩阵并应用到稀疏化t近邻的谱聚类和Nystr9m矩阵低秩逼近的谱聚类方法中;最后,在多个数据集上进行了验证.实验结果表明该方法在一些数据集上的聚类精确度要比原来谱聚类算法高,尤其在Pendigits数据集上,基于信息熵赋权的稀疏化t近邻谱聚类比稀疏化t近邻谱聚类方法精确度提高15.11%.     

一种改进的稀疏子空间聚类算法

在现有的稀疏子空间聚类算法基础上提出了一个改进的稀疏子空间聚类算法。首先,利用高维数据可以通过同一子空间的低维数据稀疏地表示这一理论,建立一个稀疏最优化模型,获得稀疏矩阵。然后把稀疏矩阵应用到一个正则化谱聚类算法中,从而有效地把数据聚类到子空间中。最后,该算法应用到一个视频序列中,对每个视频帧里的运动物体进行识别,并与现有的子空间聚类算法相比较。实验结果表明,该算法能够有效地识别运动物体,具有良好的实时性和有效性。     

K近邻的自适应谱聚类快速算法

谱聚类算法建立在谱图划分理论基础上,与传统的聚类算法相比,它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。然而,谱聚类算法涉及如何选取合适的尺度参数σ构造相似度矩阵的问题。并且,在处理大规模数据集时,聚类的过程需要较大的时间和内存开销。研究从构造相似度矩阵入手,以传统NJW算法为基础,提出一种基于K近邻的自适应谱聚类快速算法FA-SC。该算法能自动确定尺度参数σ;同时,对输入数据集分块处理,并用基于K近邻的稀疏相似度矩阵保存样本信息,减少计算的内存开销,提高了运行速度。通过实验,与传统谱聚类算法比较,FA-SC算法在人工数据集和UCI数据集上能够取得更好的聚类效果。     

基于L_0约束的稀疏子空间聚类

大数据时代背景下,随着所获数据数量和维度的不断增加,高维数据的处理成为聚类分析的重点和难点.基于同一类别高维数据通常分布在高维环绕空间的低维子空间这一事实,子空间聚类成为高维数据聚类分析领域的重要方法.稀疏子空间聚类(Sparse Space Clustering,SSC)通过交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对数据矩阵的稀疏自表达系数进行求解,发现分布于低维子空间并集中的数据的稀疏表示并进行聚类.但是ADMM参数多、收敛速度慢,其效率难以满足对大规模数据库进行聚类分析的要求.针对这一问题提出了基于L_0约束的稀疏子空间聚类方法,该方法使用正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法求解L_0约束的自表达稀疏重建问题,构建数据集中各数据之间的相关性矩阵,最终对相关性矩阵应用谱聚类方法得到聚类结果.根据OMP算法每次迭代之间的耦合关系对其进行优化,进一步降低了计算复杂度,提高了算法效率.在生成数据和Extended Yale B database人脸数据库的实验结果表明,该算法与SSC相比,在显著减少计算时间的基础上,取得了与SSC相当的聚类准确率.     

基于子空间追踪算法的稀疏子空间聚类

稀疏子空间聚类是处理高维数据聚类的有效途径,而相似度矩阵的构造是稀疏子空间聚类的关键一步。文章引入子空间追踪算法来构造相似度矩阵,并由此给出了保证特征选择和特征再选择的充分条件。数值实验表明,子空间追踪算法所选择的原子相比经典的正交匹配追踪算法,其选择的原子更具代表性,精确特征选择率更高,聚类误差也得到了保留甚至更低。     

融合PCA降维和均值漂移聚类的协同过滤推荐算法

为了解决传统的协同过滤推荐算法中评分矩阵稀疏及近邻搜索耗时长导致的推荐准确性及时间效率有待提升的问题,设计了一种融合PCA降维和均值漂移聚类的协同过滤推荐算法PMCF。该算法用主成分分析法PCA保留最能代表用户兴趣的维度,以缓解评分矩阵稀疏问题;用均值漂移聚类算法在降维后的低维向量空间上对用户聚类,以减小目标用户最近邻的搜索范围。在Movielens数据集和HetRec2011-Movielens-2k数据集上的实验结果表明,PMCF算法能够有效地提升推荐结果的准确性,同时具有较高的时间效率。     

一种改进的谱聚类算法及其在基因表达谱分析中的应用

聚类分析是从基因表达谱数据中提取生物医学信息的主要方法之一.针对传统谱聚类算法无法确定聚类个数的问题,提出一种改进的谱聚类算法并将其应用于基因表达谱聚类分析.首先用基因表达谱数据构造Laplacian矩阵,经特征值分解后得到相应的特征值和特征向量,用谱隙来描述相邻特征值的差值;然后通过寻找谱隙序列的最大值来确定聚类个数;最后从单位化的特征向量着手实现数据类别的划分.通过模拟数据与癌症数据的实验,证明了该文算法的有效性.     

一种改进的子空间聚类方法

目的:更好地揭示高维数据的子空间结构,提高子空间聚类性能。方法:对系数矩阵施加Frobenius范数约束,并使其与稀疏矩阵充分接近,建立新的子空间表示模型,利用系数矩阵构造相似度矩阵,最后利用谱聚类算法得到聚类结果。结果与结论:新模型能得到类间稀疏和类内聚集的系数矩阵,提高了聚类性能,且能快速实现。     

分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

一种新的平衡化谱聚类方法

针对传统谱聚类算法在非平衡数据集上聚类效果不理想的问题，提出了一种平衡化谱聚类算法，该算法在传统谱聚类目标函数的基础上加入了对聚类隶属度矩阵的近似正交约束，从而得到新的聚类目标函数.实验结果表明，新算法可以缓解传统谱聚类产生的均匀效应，提升了在非平衡数据集上的聚类纯度.     

基于PAM和簇阈值的改进K-Means聚类算法

为了弥补K-Means算法对孤立点数据敏感的缺陷,提高K-Means算法对包含孤立点数据集的聚类效果,在深入研究K-Means算法的基础上,提出了基于PAM和簇阈值的改进K-Means聚类算法。该算法首先对待聚类数据进行抽样,然后利用PAM算法获取样本数据的聚类中心,以样本数据的聚类中心作为KMeans算法的初始聚类中心。在聚类迭代过程中动态计算各簇阈值,利用簇阈值准确地过滤孤立点数据。实验结果表明,本文提出的算法不仅聚类时间短,而且具有较高的聚类准确率。     

物流无人机城市低空轴辐式网络构建方法研究

无人机在城市物流配送方面具有极大应用潜力，然而城市低空空域运行场景中的潜在不确定因素较多，亟待通过科学方法构建安全有序的物流无人机配送网络。从物流无人机运输经济性和运行安全性角度出发，结合物流无人机性能特征，在原有地面物流配送网点的基础上，构建多层级轴辐式网络的整数规划模型，提出了带距离限制的PAM(partitioning around medoids,围绕中心点划分)聚类与整数规划相结合的网络构建方法；从配送时效性、网络安全性和网络结构特征三方面选取评价指标，用于对比构建物流无人机运输网络与原地面运输网络；以南京市江宁区为例构建物流无人机配送网络，验证该网络构建方法的可行性。实验结果表明，该方法构建的无人机配送网络在兼顾运输成本与运输安全性的同时，还具有较好的配送时效性。     

基于用户和项目双向聚类的协同过滤推荐算法

针对传统协同过滤算法数据稀疏性问题,提出一种基于用户和项目双向聚类的协同过滤推荐算法CFBC(Collaborative Filtering based on Bidirectional Clustering),将评分矩阵从用户和项目两个方向进行聚类,降低数据稀疏性的影响,提出一种改进的相似度计算方法P-J(Pearson-Jaccard)相关系数,提高相似度计算精度。实验证明,相较于传统协同过滤算法,该算法能有效提高推荐准确度。     

基于密度敏感的改进自适应谱聚类算法

针对谱聚类算法在构造相似矩阵时对尺度参数敏感以及对多尺度数据集聚类效果不太理想的问题,提出了基于密度敏感的改进自适应谱聚类算法.首先利用密度差来调整簇类样本点之间的相似度构造新的相似矩阵函数,然后利用新的相似矩阵构造拉氏矩阵,选取拉氏矩阵的前k个最大特征值对应的特征向量组成新的向量空间,新的向量空间中的点与原始数据一一对应,最后引入K-means聚类算法对数据点进行聚类.该算法在降低对尺度参数敏感性的同时又改善了对多尺度数据集的处理.通过在人工数据集以及UCI数据集仿真实验结果表明,本文提出的算法具有较优的聚类效果.     

基于局部优化奇异值分解和K-means聚类的协同过滤算法

为了克服传统协同过滤(CF)推荐方法数据稀疏和可扩展性差的不足,该文提出1种基于局部优化降维和聚类的协同过滤算法。采用局部优化的奇异值分解(SVD)降维技术和K-均值(K-means)聚类技术对用户-项目评分矩阵中的相似用户进行聚类并降低维度。利用近似差分矩阵表示评分矩阵的局部结构,实现局部优化。局部优化的SVD降维技术可以利用更少的迭代次数缓解CF中数据稀疏和算法可扩展性差的问题。K-means聚类技术可以缩小邻居集查找范围,提高推荐速度。将该文算法与基于Pearson相关系数的协同过滤算法、基于SVD的协同过滤算法、基于K-means聚类的协同过滤算法相比较。在MovieLens数据集上的实验结果表明,该算法的平均绝对误差(MAE)较其他算法降低了大约12%,准确性(Precision)提高了7%。     

一种基于余弦函数和矩阵变换的谱聚类算法

为了实现快速谱聚类分析,设计了一种基于余弦函数和矩阵变换的谱聚类算法(CMTSC).CMTSC将余弦函数和矩阵变换技术融入到了谱聚类算法之中.利用余弦函数构造了相似度矩阵W,跳过了传统谱聚类算法中设置尺度因子的过程,随后利用矩阵变换技术实现了矩阵W的特征值分解,降低了分解的计算复杂度.在UCI数据库中部分数据集上的聚类实验和Berkeley图像库中部分图像上的分割实验,验证了CMTSC的有效性和高效性.     

仿射传播和谱聚类的船舶轨迹聚类

针对谱聚类算法中常用的K-means算法对特征向量空间进行聚类初始值敏感等问题,提出了一种新的基于仿射传播(AP)的谱聚类算法。首先,利用动态时间规整(DTW)距离度量各船舶自动识别系统(AIS)轨迹之间的结构相似性,得到距离矩阵;其次,使用快速AP聚类算法改进传统谱聚类算法,基于指定的类别数对内河桥区水域船舶AIS轨迹数据进行实例验证。仿真实验结果表明:本文算法在不增加时间复杂度的基础上,比传统谱聚类算法有更高的鲁棒性,且实验准确率提高5.24%。     

基于谱聚类和矩阵分解的改进协同过滤推荐算法

针对传统的协同过滤推荐算法存在数据稀疏性、冷启动,影响推荐结果的准确性等问题,提出了一种改进的协同过滤推荐算法。使用基于随机梯度下降优化求解的矩阵分解方法,将原始矩阵分解为较低维的用户特征矩阵和特征产品矩阵;引进产品外部属性信息,运用谱聚类算法对产品聚类,构建属性—特征之间的映射关系,填充特征产品矩阵。所提出的算法不需要对原始评分矩阵进行数据填充,相较于传统的固定值填充方法,不需要系统提供大量的空间存储评分矩阵,并且在评分预测过程中采用降维技术,可以有效地缓解数据稀疏性对推荐结果准确性的影响。     

基于核函数的层次聚类算法

层次聚类算法是运行复杂度较高的聚类算法,基于不相似性测度的层次聚类算法不适合稀疏高维数据.结合核函数特点,提出了一种基于核函数的层次聚类算法.利用该算法,对稀疏高维数据进行了层次聚类对比,实验结果表明,该算法提高了层次聚类的准确率.