K近邻的自适应谱聚类快速算法

谱聚类算法建立在谱图划分理论基础上,与传统的聚类算法相比,它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。然而,谱聚类算法涉及如何选取合适的尺度参数σ构造相似度矩阵的问题。并且,在处理大规模数据集时,聚类的过程需要较大的时间和内存开销。研究从构造相似度矩阵入手,以传统NJW算法为基础,提出一种基于K近邻的自适应谱聚类快速算法FA-SC。该算法能自动确定尺度参数σ;同时,对输入数据集分块处理,并用基于K近邻的稀疏相似度矩阵保存样本信息,减少计算的内存开销,提高了运行速度。通过实验,与传统谱聚类算法比较,FA-SC算法在人工数据集和UCI数据集上能够取得更好的聚类效果。     

隐式低秩表示联合稀疏表示的人脸识别方法

针对人脸识别中存在的遮挡、阴影、反光等不同程度的数据破坏以及训练样本不充足导致识别率低的问题,提出一种基于隐式低秩表示联合稀疏表示(LatLRR_SRC,Latent Low-Rank Representation Sparse Representation Classification)的人脸识别方法.该方法首先采用隐式低秩表示(LatLRR,Latent Low-Rank Representation)算法将训练样本矩阵分解为两个低秩逼近矩阵和一个稀疏误差矩阵.然后将低秩逼近矩阵和稀疏误差矩阵联合构成完备字典,并用K-SVD算法对字典进行学习,得到测试样本在学习后字典下的稀疏表示.最后对测试样本利用上述隐式低秩表示分解的三部分的稀疏逼近计算残差,完成测试样本的分类识别.在Extend YaleB和CMU PIE人脸数据上的实验结果表明,基于LatLRR_SRC的人脸识别方法具有较高的识别率和稳定性.     

分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

基于稀疏表征的异常点检测方法

为了提高异常检测算法在高维数据上的性能,提出了一种基于稀疏表征的孤立点检测(ODSR)方法.将实例表征为其他实例的稀疏线性组合,得到所有实例的近邻关系矩阵,并使用基于图谱理论的谱聚类方法识别异常点.该方法具有自动选择近邻的优势,能有效地得到近邻关系,并解决传统近邻算法中的k值选择困难问题.将ODSR与6种流行的异常检测算法在11个真实数据集上进行了综合实验比较,结果表明ODSR的复杂度及曲线下面积(AUC)值及稳定性更高.     

基于快速谱聚类的图像分割算法

设计了一种基于快速谱聚类的图像分割算法,该算法利用余弦相似度构造相似度矩阵,避免了传统谱聚类算法中尺度因子的精确设置问题,提高了算法效率.在谱映射的过程中,该算法采用了Nystrm逼近策略,降低了谱聚类算法的复杂度和内存消耗.在Berkeley图像库上的图像分割实验证明了算法的有效性.     

一种基于流形距离核的谱聚类和量子聚类融合算法

谱聚类是一种基于图谱划分理论的聚类算法,本质上是将聚类问题转化为图的最优划分问题;量子聚类可以充分挖掘数据样本的内在信息,是一种基于划分的无监督聚类算法.为了充分发挥谱聚类算法和量子聚类算法的优势,本文提出了一种基于流形距离核的谱聚类和量子聚类融合算法(MFD-NJW-QC).首先,计算数据集的流形距离核矩阵,构造相应的拉普拉斯矩阵;其次,根据拉普拉斯矩阵的若干最大特征值对应的特征向量构造新数据集,并使用量子聚类算法对新构造的数据集进行聚类,从而得到原始数据的类标签;最后,基于7个人工数据集和5个UCI数据集验证MFD-NJW-QC算法的聚类性能.结果显示,MFD-NJW-QC算法能够明显提高聚类性能,尤其对于具有流形结构,且类簇大小不平衡、密度分布不均匀的数据集优势更为突出.     

稀疏谱聚类算法在高维数据上的应用

提出一种新的稀疏谱聚类算法——基于PAM算法的HSSPAM聚类(high-dimensional sparse spectral clustering based on partitioning around medoids).该算法先用高相关系数过滤及主成分分析降维方法以有效减小甚至消除维度灾难对高维数据处理的影响,再采用Minkowski距离指数变换函数及稀疏化算法来构建分块对角矩阵以重新解释样本之间的相似度;然后构造新颖的拉普拉斯矩阵以实现进一步压缩数据矩阵,进而结合partitioning around medoids(PAM)算法取代传统谱聚类中的K-means算法对特征向量聚类以提高算法的聚类稳定性;最后引入高维基因数据设计了实验,并以不同的聚类评价指标来衡量该研究算法的聚类质量,实验结果表明,新算法能够更精确、更稳定地对基因数据聚类.     

基于并行化谱聚类的协同推荐算法研究

随着大规模网络数据的增加,可扩展性成为推荐系统的一个关键因素,为此提出一种基于并行化谱聚类的协同推荐算法.首先通过并行化改进的谱聚类方法对项目进行聚类;然后在基于用户的协同推荐算法基础上,结合已聚类的项目打分信息,提出一种改进的相似用户计算方法,并进行推荐;最后在数据集上进行测试.结果表明,该算法可以有效降低时间复杂度,推荐精确度和推荐效率也有显著提高.     

L-PCA算法下的高维图像降维算法研究

文中借鉴经典凸技术聚类算法中的全局线性降维算法PCA与LDA聚类算法思想,提出了一种改进型的PCA降维算法L-PCA,该算法在保证原有样本协方差结构不变的前提下,获取变换矩阵中最重要的主分量进行赋权,通过调节类内与类间离散矩阵,使得类内距离最小化、类间聚类最大化,来搜索一个合适的映射子空间来实现不同类别数据之间的划分。通过典型数据集下的实验结果很好的验证了L-PCA算法在一阶最近近邻分类器泛化误差、准确性以及目标数据表达连续性等方面的良好性能。     

一种稀疏图正则化的非负低秩矩阵分解算法

非负矩阵分解方法(non-negative matrix factorization,NMF)广泛应用于图像聚类、计算机视觉、信息检索等领域。但是,现有的NMF方法还存在一些不足之处：①NMF方法直接在高维原始图像数据集上计算它的低维表示,而实际上原始图像数据集的有效信息常常隐藏在它的低秩结构中;②NMF方法还存在对噪声敏感以及鲁棒性差的缺点。为了提高NMF算法的鲁棒性和可解释性,提出一种稀疏图正则化的非负低秩矩阵分解算法(sparse graph regularized non-negative low-rank matrix factorization,SGNLMF)。通过低秩约束和图正则化,SGNLMF算法同时利用了数据的几何信息和有效低秩结构;此外,SGNLMF算法还对基矩阵加以稀疏约束,使得其鲁棒性和可解释性均有一定的提升。还提出了一种求解SGNLMF的迭代算法,并从理论上分析了该求解算法的收敛性。通过在ORL和YaleB数据库上的实验结果表明SGNLMF算法的有效性。     

基于粗糙集理论的两类离散化方法研究

连续属性离散化是数据预处理的关键步骤之一,在实际应用中往往通过高效的启发式算法来计算离散化结果.对基于辅助矩阵和信息熵的两类启发式离散化算法进行实验研究,分别选取每类算法中的5种典型方法,通过系列实验,对两类算法的性能进行对比研究,结果表明:辅助矩阵类算法具有相对较高的样本识别能力,但算法复杂度较高,运行时间更长,较适...     

融合Nystrm方法的谱聚类算法(NSDcut)的图像分割

为了克服谱聚类算法SDcut在计算相似度矩阵和拉普拉斯矩阵的特征值和特征向量时,比较耗时的缺点,提出了融合Nystrm方法的SDcut算法NSDcut,并应用于图像分割.该算法采用Nystrm方法构建相似度矩阵和计算相似度矩阵的特征向量,并用这些特征向量通过矩阵运算降低了SDcut算法中的相似度矩阵和拉普拉斯矩阵的阶,从而降低SDcut算法的时间复杂度.实验结果表明:NSDcut算法提高了SDcut算法的运行速度,同时也具有SDcut算法的聚类性能.     

融合Nystr(o)m方法的谱聚类算法(NSDcut)的图像分割

为了克服谱聚类算法SDcut在计算相似度矩阵和拉普拉斯矩阵的特征值和特征向量时,比较耗时的缺点,提出了融合Nystr(o)m方法的SDcut算法NSDcut,并应用于图像分割.该算法采用Nystr(o)m方法构建相似度矩阵和计算相似度矩阵的特征向量,并用这些特征向量通过矩阵运算降低了SDcut算法中的相似度矩阵和拉普拉斯矩阵的阶,从而降低SDcut算法的时间复杂度.实验结果表明:NSDcut算法提高了SDcut算法的运行速度,同时也具有SDcut算法的聚类性能.     

基于连接的频繁集聚类算法

针对大型事务数据库中频繁集的多属性聚类问题,提出一种高效的频繁集聚类算法.以往聚类算法采用基于距离的计算方法,由于受到属性数据的制约,在频繁集挖掘中具有一定的限制.在属性聚类基础上,基于连接对频繁集进行聚类.在算法中先找出数据点的邻居和计算相似度,构造邻居矩阵;然后计算连接数目,确定邻居数目矩阵;最后通过设置判定函数和阈值确定聚类数.通过实验证明,算法能够不仅能有效地完成频繁集的多属性聚类问题,而且还可以进一步发现频繁集在某一层次的相关性.     

基于广义线性模型的混合属性数据聚类方法

针对混合属性数据聚类难度高的问题,提出一种基于广义线性模型的混合属性数据聚类方法.首先,构建低阶多元广义线性模型处理海量数据聚类问题,考虑数据属性的时间特性,获取属性时间序列矩阵;然后,基于优化K-prototypes聚类方法处理混合属性数据时,考虑属性的时间序列矩阵;最后,在考虑样本同聚类中心距离基础上兼顾已知样本信息内容,采用优化方法计算数据相异度、样本与聚类集间距离,当聚类结果趋于平稳时终止运算,输出聚类结果.为验证基于广义线性模型的混合属性数据聚类方法的有效性展开实验分析.结果显示,该方法经过较少次迭代即可优化划分混合属性数据聚类集,聚类适应度值为0.88～0.94,适应度优,可准确体现样本间差异,是一种准确度高的混合属性数据聚类方法.     

高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测（CODHD-Stream）算法。该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的 K-means 聚类算法将数据集划分成微聚类,并检测微聚类的离群点。通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度。     

稀疏谱聚类方法及应用

提出了一种新的谱聚类算法:基于K-Medoids的SSKM聚类,不仅利用距离指数变换函数及稀疏化算法构建了分块对角矩阵以重新解释样本之间的相似度,还结合PAM算法取代传统谱聚类中的k-means算法对特征向量聚类以提高算法的聚类稳定性.为了使SSKM算法能够有效地处理高维数据,引入了高相关系数过滤及主成分分析降维技术,提出了SSKM算法的新版本HSSKM,能够识别高维数据结构以减少原始数据的特征规模.模拟数据及高维基因表达数据结果表明新算法具有聚类稳定、聚类结果更精确等显著性能.     

低秩张量分解的多视角谱聚类算法

针对传统多视角学习算法只关注从多视角中提取共享信息而忽略了各视角的特有信息和高阶关联的问题,提出了一种基于截断核范数的低秩张量分解的多视角谱聚类算法。计算各视角的样本相似度矩阵和转移概率矩阵,构建一个包含各视角马尔可夫转移概率矩阵的张量,从而保留各个视角的信息。采用基于张量奇异值分解的截断核范数约束目标张量的秩。通过最小化张量截断核范数,学习到一个既包含各个视角共享信息又具有高阶关联的张量。利用迭代最优化算法求解目标函数,将求得的目标张量输入谱聚类算法得到聚类结果。在4个不同类型数据集上进行实验并与传统聚类算法进行了对比,结果表明:所提算法在4个数据集上的标准互信息度量值比标准谱聚类算法的分别提高了7.9%、24.9%、29.5%、8.1%,比LT-MSC算法的分别提高了3.4%、18.1%、17.6%、6.6%。通过对非负平衡参数在0.000 1～100之间的测试发现,所提算法表现基本稳定,在非负平衡参数取0.1～1之间表现良好。与传统多视角聚类算法相比,所提算法可有效增强各视角之间的互补性和高阶关联,并且具有良好的准确性和鲁棒性。     

形式背景上基于矩阵信息熵的矩阵熵约简

概念格的属性约简是知识表示和数据处理的一种有力工具，已被成功应用到多个领域，寻求高效快速的属性约简算法仍然是概念格理论的主要研究热点.从信息熵和布尔矩阵的角度研究形式背景的属性约简，提出属性约简的新方法.首先，在形式背景上定义矩阵信息熵、矩阵条件熵、矩阵联合熵和矩阵互信息熵，研究它们的性质和相互之间的关系.接着，在形式背景上提出基于矩阵信息熵的矩阵熵协调集和矩阵熵约简的定义，给出了属性的重要性度量，利用矩阵信息熵刻画核心属性、相对必要属性和不必要属性的属性特征，再给出获取矩阵熵约简的方法和算法.最后，利用UCI数据集进行测试，验证了基于矩阵信息熵的矩阵熵约简算法的有效性.通过对比实验，证明该算法具有更加高效的约简性能且适用于大数据样本.     

一种新的平衡化谱聚类方法

针对传统谱聚类算法在非平衡数据集上聚类效果不理想的问题，提出了一种平衡化谱聚类算法，该算法在传统谱聚类目标函数的基础上加入了对聚类隶属度矩阵的近似正交约束，从而得到新的聚类目标函数.实验结果表明，新算法可以缓解传统谱聚类产生的均匀效应，提升了在非平衡数据集上的聚类纯度.