非凸张量多视图子空间聚类

为了探索非凸方法在多视图聚类方面的应用, 本文基于非凸替换函数和子空间学习, 提出非凸张量多视图子空间聚类算法. 该算法不仅对多视图数据进行自表示学习来达到学习低维子空间的目的. 而且采用带有旋转的张量结构对张量的高阶关联进行挖掘. 同时, 使用非凸函数替换以及广义奇异值算子进行张量最小化问题的求解, 从而实现对张量秩的近似. 最后基于联合优化所得关联/仿射矩阵实现聚类操作. 在不同类型的多视图数据集上的大量实验验证了该方法的聚类效果.     

基于隐空间的低秩稀疏子空间聚类

提出了一种基于隐空间的低秩稀疏子空间聚类算法,在聚类的过程中可以对高维数据进行降维,同时在低维空间中利用稀疏表示和低秩表示对数据进行聚类,大大降低了算法的时间复杂度.在运动分割和人脸聚类问题上的实验证明了算法的有效性.     

一种改进的稀疏子空间聚类算法

在现有的稀疏子空间聚类算法基础上提出了一个改进的稀疏子空间聚类算法。首先,利用高维数据可以通过同一子空间的低维数据稀疏地表示这一理论,建立一个稀疏最优化模型,获得稀疏矩阵。然后把稀疏矩阵应用到一个正则化谱聚类算法中,从而有效地把数据聚类到子空间中。最后,该算法应用到一个视频序列中,对每个视频帧里的运动物体进行识别,并与现有的子空间聚类算法相比较。实验结果表明,该算法能够有效地识别运动物体,具有良好的实时性和有效性。     

分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

基于属性最大间隔的子空间聚类

子空间聚类能有效的发现各簇与所属于的子空间的联系,同时减少高维数据中因为数据冗余和不相关属性对聚类过程产生的干扰.已有的子空间聚类方法强调各子空间中簇的发现,往往忽略子空间的划分.提出了基于属性最大间隔的子空间聚类,该方法主要思想是对子空间的划分时信息的丢失达到最小,从而子空间聚类的结果的效果比较好.主要工作包括:第一,建立了子空间划分的目标函数,也就是使各划分的子空间相互依赖达到最小,第二,设计了基于属性最大间隔的子空间聚类算法Maximum Margin Subspace Clustering(MMSC)进行子空间聚类集成.最后,采用UCI和NIPS2013比赛等数据来做实验,结果表明,在大多数数据上MMSC算法比其他子空间算法能得到更好的聚类结果.     

潜在表示学习框架下的低冗余多视图聚类算法

基于潜在空间学习的多视图聚类研究得到了较大发展,但其通常忽略了原始数据中冗余信息的存在可能会带来不理想的聚类结果。为解决这个问题,提出一种潜在表示学习框架下的低冗余多视图聚类算法。基于k-means的方法,直接从各视图数据学习其低维表示,由于该低维表示的各个特征相互正交,学习到的低维表示通常含有较少的冗余信息。基于潜在空间的假设,各视图的低维表示可由同一个潜在表示投影得到。将两者结合,就能得到一个具有低冗余信息的统一的潜在表示。设计了一个优化算法来求解目标问题,在多个公开数据集上的实验表明了该算法的有效性。     

基于粗糙集的高维分类型数据子空间聚类算法

现有的优秀的聚类算法大多是处理低维数据的,但是对于高维数据,由于其分布特性与低维情形有很大的差异,这些算法失效.为解决高维分类型数据聚类问题,提出了一种基于粗糙集的高维分类型数据子空间聚类算法,基于粗糙集的上、下近似集的类边界描述,确定了类边界范围,然后采用相容度来调整类边界,聚类的过程采用增长子空间的思想,从低维到高维迭代地搜子空间类簇.最后通过在soybean、zoo数据集上的对比实验,实验结果表明了算法不仅可行,而且精度高.     

一种鲁棒的子空间聚类算法

针对聚类分析常面临的维数灾难和噪声污染问题,将样本加权思想与子空间聚类算法相结合,提出了一种鲁棒的子空间聚类算法.该算法结合现有子空间聚类方法,为每个类簇计算一个反映各维度聚类贡献程度的权矢量,并利用该权矢量对各维度加权组合,得到各类簇所处的子空间.此外,算法还为每个样本分配一个反映离群程度的尺度参数,以区分正常样本和离群点在聚类过程中的地位,保证算法的鲁棒性.在二维数据集、高维数据集以及基因数据集上的对比实验结果表明,对于具有不同噪声比例的各种维度数据集,该算法均能取得较高的聚类精度,表现出较好的鲁棒性.     

基于自表示和投影映射的不完整多视图聚类

针对不完整多视图聚类存在的缺陷,提出一种融合自表示和投影映射的统一框架.首先,利用自表示和样本存在指示矩阵学习一致相似图,它反映了样本间的公共相似关系;其次,利用投影映射将样本矩阵投影到超球面上,得到公共低维表示;最后,将两者通过谱表示嵌入在一起,解决了因多视图数据缺失引起的不完整多视图聚类问题.该算法在真实数据集上的实验结果优于其他算法,证明了算法的有效性.     

基于类间损失和多视图融合的深度嵌入聚类

针对深度嵌入聚类方法仅考虑类内关系及多视图聚类存在特征表示不足等问题,提出一种基于类间损失和多视图特征融合的深度嵌入聚类方法,该方法在深度嵌入聚类的损失函数中引进一个新的正则项提高类判别性.先通过自动编码器提取多视图数据的特征表示,对不同视图的特征表示进行融合得到公共表示,基于此得到数据的软分配分布和辅助目标分布;再对公共表示和聚类分配进行联合优化得到最终的聚类结果.在多视图数据集上的实验结果表明,该方法能有效提高聚类性能.     

深度低秩多视角子空间聚类

针对目前深度多视角子空间聚类算法因为缺少对自表达矩阵的低秩表示约束而导致的模型缺乏鲁棒性的问题,提出了深度低秩多视角子空间聚类算法。在深度多视角子空间聚类算法的基础上,通过矩阵分解将自表达层分解为多视角一致性自表达层和单视角特异性自表达层,得到具有低秩线型约束的双层自表达模块;强制所有视角的一致性自表达层的参数相同、特异性自表达层的参数各不相同,充分利用多视角数据的互补性;将自表达模块嵌入到每个视角的深度自编码器中,得到可以通过反向传播算法求解的深度低秩多视角子空间聚类模型;在深度模型训练中,一致性自表达层学习多视角数据的一致性信息,特异性自表达层学习单个视角的独特信息,双层自表达模块隐性地添加了低秩表示约束。6个公开数据集上的实验结果表明:与深度多视角子空间聚类算法相比,所提算法的聚类正确率平均提升了0.064,标准化互信息提升了0.064;所提算法的正确率和标准化互信息优于其他11种先进聚类算法的,聚类正确率最大提升了0.097,标准化互信息最大提升了0.103。     

基于Parzen窗的投影聚类方法

研究表明,高维数据的聚类都隐含在低维的子空间内,而这些子空间就是把原始数据投影到某些维度上的交集,于是相应的聚类算法就变成如何寻找合适的子空间内容。在此提出了一种新的划分子空间方法——基于Parzen窗子空间划分方法,并在这基础上提出了新的投影聚类方法PCPW。通过与最新的EPCH算法的实验结果对比表明,两者聚类效果相当,但PCPW算法更简单,易于实现。     

一种高维分类型数据的子空间聚类算法

子空间聚类是一种将搜索局部化在相关维上进行的聚类算法,它能有效地克服数据因维度过高引起的在全空间上聚类的困难.针对高维分类型数据,本文提出了一种自底向上的子空间层次聚类算法,该算法在全局范围内建立一个最相似线性表用来记录每个簇类与其最相似的簇类的相似度,在聚类过程中,选取最相似的簇类合并,并通过维护此线性表产生最相似的簇类.此算法在基于信息熵的意义上能够较准确地搜索簇类的子空间.通过Zoo和Soybean两个典型的分类型数据实验发现,相对于其它相关聚类算法,该算法在聚类的准确率和稳定性方面表现出较高的优越性.     

基于MapReduce的并行子空间聚类算法

随着现有数据体量的迅速增长,超大规模中高维数据集的聚类问题变得越来越重要;而现有的子空间聚类算法大多是单机串行执行,处理此类问题效率极低。讨论了利用MapReduce对这类数据集进行并行聚类的方法,提出了基于MapReduce的抽样-忽略子空间聚类算法(sample-ignore subspace clustering using MapReduce,SISCMR)。该算法将串行聚类算法用作插件,具有很好的通用性。在人造和真实数据集上进行了大量实验,其中最大为0.2 TB的数据集在128个核心的集群中仅用不到10 min就完成了聚类,验证了该算法良好的聚类质量、近线性的可扩展性和高效的聚类性能,证明了基于MapReduce的并行聚类的可行性。     

投影自表示无监督极限学习机

无监督极限学习机在投影过程中保持原始高维空间中的稀疏或近邻结构,样本在高维空间中存在冗余信息,原始的数据结构不一定适应于投影后的低维特征空间.为此,结合无监督极限学习机和子空间聚类的自表示学习,提出投影自表示无监督极限学习机模型.该模型是面向聚类的特征提取方法,在投影过程中学习自表示子空间结构,从而使无监督极限学习机提取的特征自适应于聚类任务.在IRIS数据集、 6个基因表达和2个医学影像高维数据集上进行实验,结果表明该模型和算法是有效的.     

基于低秩稀疏约束的自权重多视角子空间聚类

多视角子空间聚类是一种利用视角之间的互补信息,找到视角间统一的表示并发现潜在分组结构的方法,近年来已成为机器学习的研究热点.提出一种基于低秩稀疏约束的自权重子空间聚类算法.具体的,低秩稀疏约束能发现数据的全局和局部结构信息,使自表示矩阵呈现稀疏性和低秩的特点;而自权重方法利用视角表示矩阵与共享相似度矩阵之间距离的反比为每个视角分配合理的权重,同时学习到一个视角之间共享的相似度矩阵,降低受损视角对于共享相似度矩阵的影响.以上提到的两种方法组成一个统一的优化框架,再使用增广拉格朗日乘子交换方向最小化方法(ALMADM)对提出的聚类算法进行优化.在基准数据集中的实验结果证明该算法比其他算法更有效.     

基于低秩稀疏表示的子空间学习研究综述

以基于低秩稀疏表示的子空间学习为研究对象,对近几年的相关研究工作进行了归纳总结.首先,阐述了子空间学习及低秩稀疏表示的概念;然后,根据迭代更新的方法,将基于低秩稀疏表示的子空间学习分为基于矩阵分解的子空间学习和基于谱聚类的子空间学习两大类;其次,对它们各自算法的核心思想进行了详细介绍,并对这些算法的优缺点进行了对比分析...     

基于候选对象裁剪的密度子空间聚类

针对目前子空间聚类算法存在精度差、效率低的问题,设计了一种子空间聚类算法DSUB.提出了裁剪候选对象的方法,减少了候选聚类对象的个数且对候选对象分组,使得待搜索的聚类簇只能是某个组的子集,可降低后续聚类处理的复杂度.此外,提出了新的邻域查询方法和抽样覆盖策略用以提高密度聚类的处理速度.实验结果表明:DSUB算法精度高,能够发现任意形状的聚类簇;计算复杂度与数据量呈线性关系;抗噪声性能强;聚类结果与处理顺序无关.DSUB算法非常适合处理子空间聚类.     

基于子空间追踪算法的稀疏子空间聚类

稀疏子空间聚类是处理高维数据聚类的有效途径,而相似度矩阵的构造是稀疏子空间聚类的关键一步。文章引入子空间追踪算法来构造相似度矩阵,并由此给出了保证特征选择和特征再选择的充分条件。数值实验表明,子空间追踪算法所选择的原子相比经典的正交匹配追踪算法,其选择的原子更具代表性,精确特征选择率更高,聚类误差也得到了保留甚至更低。     

一种改进的子空间聚类方法

目的:更好地揭示高维数据的子空间结构,提高子空间聚类性能。方法:对系数矩阵施加Frobenius范数约束,并使其与稀疏矩阵充分接近,建立新的子空间表示模型,利用系数矩阵构造相似度矩阵,最后利用谱聚类算法得到聚类结果。结果与结论:新模型能得到类间稀疏和类内聚集的系数矩阵,提高了聚类性能,且能快速实现。