分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

基于低秩稀疏表示的子空间学习研究综述

以基于低秩稀疏表示的子空间学习为研究对象,对近几年的相关研究工作进行了归纳总结。首先,阐述了子空间学习及低秩稀疏表示的概念;然后,根据迭代更新的方法,将基于低秩稀疏表示的子空间学习分为基于矩阵分解的子空间学习和基于谱聚类的子空间学习两大类;其次,对它们各自算法的核心思想进行了详细介绍,并对这些算法的优缺点进行了对比分析;最后,介绍了基于低秩稀疏表示的子空间学习在人脸识别、语音情感识别和运动分割这些领域的应用,同时指出了该研究中存在的挑战及未来研究方向。     

一种改进的稀疏子空间聚类算法

在现有的稀疏子空间聚类算法基础上提出了一个改进的稀疏子空间聚类算法。首先,利用高维数据可以通过同一子空间的低维数据稀疏地表示这一理论,建立一个稀疏最优化模型,获得稀疏矩阵。然后把稀疏矩阵应用到一个正则化谱聚类算法中,从而有效地把数据聚类到子空间中。最后,该算法应用到一个视频序列中,对每个视频帧里的运动物体进行识别,并与现有的子空间聚类算法相比较。实验结果表明,该算法能够有效地识别运动物体,具有良好的实时性和有效性。     

稀疏低秩子空间聚类算法

子空间聚类算法的主要目标是从高维数据中找到其低维表示。在低秩表示子空间算法的基础上,针对采用数据本身作为字典会造成噪声过大的问题,提出稀疏低秩子空间聚类算法,采用稀疏表示优化字典,解决了数据自带噪声难以去除导致最终结果偏离过大的现象。实验结果表明,该算法相比于稀疏子空间算法和低秩表示算法效果有显著的提高。     

基于子空间追踪算法的稀疏子空间聚类

稀疏子空间聚类是处理高维数据聚类的有效途径,而相似度矩阵的构造是稀疏子空间聚类的关键一步。文章引入子空间追踪算法来构造相似度矩阵,并由此给出了保证特征选择和特征再选择的充分条件。数值实验表明,子空间追踪算法所选择的原子相比经典的正交匹配追踪算法,其选择的原子更具代表性,精确特征选择率更高,聚类误差也得到了保留甚至更低。     

一种改进的子空间聚类方法

目的:更好地揭示高维数据的子空间结构,提高子空间聚类性能。方法:对系数矩阵施加Frobenius范数约束,并使其与稀疏矩阵充分接近,建立新的子空间表示模型,利用系数矩阵构造相似度矩阵,最后利用谱聚类算法得到聚类结果。结果与结论:新模型能得到类间稀疏和类内聚集的系数矩阵,提高了聚类性能,且能快速实现。     

投影自表示无监督极限学习机

无监督极限学习机在投影过程中保持原始高维空间中的稀疏或近邻结构,样本在高维空间中存在冗余信息,原始的数据结构不一定适应于投影后的低维特征空间.为此,结合无监督极限学习机和子空间聚类的自表示学习,提出投影自表示无监督极限学习机模型.该模型是面向聚类的特征提取方法,在投影过程中学习自表示子空间结构,从而使无监督极限学习机提取的特征自适应于聚类任务.在IRIS数据集、 6个基因表达和2个医学影像高维数据集上进行实验,结果表明该模型和算法是有效的.     

基于图形正则化低秩表示张量与亲和矩阵的多视图聚类

针对聚类中忽略局部结构、 低秩表示张量与亲和矩阵高度依赖性等问题, 提出一种基于图形正则化低秩表示张量与亲和矩阵的多视图聚类方法. 首先, 提出一个统一的框架学习多视图子空间的图正则低秩表示张量和亲和矩阵; 其次, 进一步通过基于张量核范数的张量奇异值分解分析高阶交叉视图关联性, 并利用图形正则化保留嵌入在高维空间中的局部结构; 最后, 利用约束二次规划为每个视图分配自适应权重. 在7个数据集上的实验结果证明了该方法聚类效果更好.     

低秩表示和加权核范数最小化的子空间聚类

为了进一步提升基于核范数和F范数最小化的子空间聚类算法的性能,使用加权核范数扩展上述两种范数.提出的算法中含有一个参数γ,当γ=0时,可得到核范数;当γ=1时,可得到F范数;当0γ1时,可得到介于核范数和F范数之间的范数.采用交替方向乘子方法和线性交替方向乘子方法求解所提算法的目标函数,并由此得到了2个基于加权核范数最小化的低秩子空间聚类算法.利用Extended Yale B人脸数据集、MNIST手写字符数据集和USPS手写字符数据集进行实验.实验结果表明:和现有的子空间聚类方法相比,所提算法可以得到较高的聚类精度.     

基于低秩描述的特征提取算法

低秩表示算法是通过最小化矩阵核范数来求解低秩表示系数,然而待求解的低秩表示系数的稀疏性低的要求导致求解不稳定的情况。针对这个问题,在基本的图像低秩表示算法中引入一个约束条件来保证系数的最稀疏性,在特征提取过程中来获取图像数据在各个空间中的整体几何结构。通过对不同的加噪图像进行去噪恢复和分类识别,并与现有算法对比,证明改进算法的低秩特性更具有效性和判别性。在ORL库和Yale B库人脸库上的实验结果证明,改进的算法比原算法在图像去噪效果上更有效,具有较高的识别率。     

基于拟Laplace谱的形状表示与聚类

基于谱图理论的形状表示与聚类是计算机视觉和模式识别领域的重要研究方向。针对不同形状的结构特征,通过对形状骨架点所构完全图的拟Laplace矩阵进行奇异值分解,将得到的高维数据投影至低维空间中,进而分析该数据在低雏空间中的分布情况实现聚类。针对公共数据集的对比实验验证了该算法的有效性。     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

基于多语义文本表示的自适应模糊聚类算法

由于词语的多语义问题和传统的文本表示与聚类过程相互独立的问题,导致文本聚类准确率较低。针对上述问题提出一种基于多语义文本表示的自适应模糊C-均值(Multi-semanticSrepresentationSbasedSadaptiveSfuzzySC-means, MSR-AFCM)聚类算法。通过将词语软聚类划分成多个词簇构建多个语义空间,将语义空间个数作为文本初始聚类数目,利用词语的语义隶属度计算每个文本属于文本空间的语义隶属度,并以此为对隶属度进行初始化。在算法运行过程中,根据更新的文本语义隶属度和文本分布状况,逐步剔除冗余的文本空间,以达到优化聚类数目的目标。实验结果表明,MSR-AFCM算法相较于传统的聚类算法有更高的准确率和兰德系数,验证了算法的有效性。     

基于属性最大间隔的子空间聚类

子空间聚类能有效的发现各簇与所属于的子空间的联系,同时减少高维数据中因为数据冗余和不相关属性对聚类过程产生的干扰.已有的子空间聚类方法强调各子空间中簇的发现,往往忽略子空间的划分.提出了基于属性最大间隔的子空间聚类,该方法主要思想是对子空间的划分时信息的丢失达到最小,从而子空间聚类的结果的效果比较好.主要工作包括:第一,建立了子空间划分的目标函数,也就是使各划分的子空间相互依赖达到最小,第二,设计了基于属性最大间隔的子空间聚类算法Maximum Margin Subspace Clustering(MMSC)进行子空间聚类集成.最后,采用UCI和NIPS2013比赛等数据来做实验,结果表明,在大多数数据上MMSC算法比其他子空间算法能得到更好的聚类结果.     

非凸张量多视图子空间聚类

为了探索非凸方法在多视图聚类方面的应用, 本文基于非凸替换函数和子空间学习, 提出非凸张量多视图子空间聚类算法. 该算法不仅对多视图数据进行自表示学习来达到学习低维子空间的目的. 而且采用带有旋转的张量结构对张量的高阶关联进行挖掘. 同时, 使用非凸函数替换以及广义奇异值算子进行张量最小化问题的求解, 从而实现对张量秩的近似. 最后基于联合优化所得关联/仿射矩阵实现聚类操作. 在不同类型的多视图数据集上的大量实验验证了该方法的聚类效果.     

一种新的子空间聚类算法

通过对数据空间进行网格划分并寻找稀疏区域来发现类的边界,提出了一种基于密度与网格的新的子空间聚类算法.该算法使用投影寻踪的搜索策略来发现存在于子空间内的类,同时运用基于竞争的修剪方式来有效地控制算法的计算复杂性.实验结果表明,所提算法在精度、时间复杂性等方面具有优良性能.     

基于L_0约束的稀疏子空间聚类

大数据时代背景下,随着所获数据数量和维度的不断增加,高维数据的处理成为聚类分析的重点和难点.基于同一类别高维数据通常分布在高维环绕空间的低维子空间这一事实,子空间聚类成为高维数据聚类分析领域的重要方法.稀疏子空间聚类(Sparse Space Clustering,SSC)通过交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对数据矩阵的稀疏自表达系数进行求解,发现分布于低维子空间并集中的数据的稀疏表示并进行聚类.但是ADMM参数多、收敛速度慢,其效率难以满足对大规模数据库进行聚类分析的要求.针对这一问题提出了基于L_0约束的稀疏子空间聚类方法,该方法使用正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法求解L_0约束的自表达稀疏重建问题,构建数据集中各数据之间的相关性矩阵,最终对相关性矩阵应用谱聚类方法得到聚类结果.根据OMP算法每次迭代之间的耦合关系对其进行优化,进一步降低了计算复杂度,提高了算法效率.在生成数据和Extended Yale B database人脸数据库的实验结果表明,该算法与SSC相比,在显著减少计算时间的基础上,取得了与SSC相当的聚类准确率.     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

一种基于网格和距离阈值的空间数据流聚类算法

空间数据库中存储了海量的实时数据,常规的算法在数据挖掘过程中无法根据空间数据流的特征进行聚类.针对该问题,我们提出一种基于网格和距离阈值的空间数据流聚类算法,该算法分为离线和在线部分,为实时数据赋予时间相关的距离值,利用网格进行聚类.实验证明此算法对于空间数据流聚类具有理想的结果.