基于自适应流形正则化自表示的无监督特征选择算法

针对基于流形正则化自表示(MRSR)的无监督特征选择算法直接从原始的样本空间构造相似矩阵可能会 导致重构空间中样本的相似性描述得不够准确的问题,提出了基于自适应流形正则化自表示的无监督特征选择 (AMRSR)算法。 基于自适应流形正则化自表示的无监督特征选择算法在 MRSR 算法的基础上通过对相似矩阵施 加概率最近邻约束将相似矩阵的学习嵌入到优化过程中,在重构空间中自适应地学习样本的相似性,使得在每一 次迭代中获取更加精确的样本局部几何流形结构,从而选择具有代表性且保持局部几何流形结构的特征。 最后, 在四个公开数据集上进行了大量的对比实验,通过将算法的特征选择结果用于 K-means 聚类并采取两种常见的聚 类评价指标:聚类精确度和归一化互信息评价聚类效果。 实验结果表明,AMRSR 算法与现有的一些算法相比有更 高的聚类精确度和归一化互信息,进一步表明该算法特征选择效果更好。     

基于局部邻域嵌入的无监督特征选择

机器学习中,特征选择可以有效降低数据维度.考虑到流形学习能够保持原始数据的几何结构,l_(2,1)范数能够防止过拟合,提升模型的泛化能力,将二者结合起来可以提高特征选择的效果和效率.结合局部邻域嵌入(LNE)算法和l_(2,1)范数,提出一种新的无监督特征选择方法.其主要思想是:首先利用数据样本和邻域间的距离以及重构系数构造相似矩阵;其次构建低维空间并结合l_(2,1)范数进行稀疏回归;最后计算每个特征的重要性并选出最优特征子集.实验通过与几种典型的特征选择算法做对比,验证了所提算法的有效性.     

一种基于成对约束的谱聚类算法

聚类通常被认为是一种无监督的数据分析方法,在聚类搜索过程中充分利用先验信息会显著提高聚类算法的性能。本文通过成对约束来调整点与点之间的相似矩阵,然后对其优化,并结合谱聚类算法,得到一种很有效的聚类算法——基于成对约束的半监督谱聚类算法(SSCA)。实验表明,该算法有很好的聚类效果。     

基于相关熵和流形正则化的图像聚类

近年来,聚类作为机器学习、数据挖掘等领域的基本问题受到广泛的关注及研究,然而数据中普遍存在的噪声和异常值严重影响聚类结果.提出一个基于相关熵和流形正则化的聚类框架CRNMF(Correntropy and Manifold Regularization Non-Negative Matrix Factorization).首先,采用基于相关熵的非负矩阵分解（Non-Negative Matrix Factorization,NMF）作为损失函数来抑制非高斯噪声和异常值的影响;其次,充分考虑数据的结构信息,采用流形正则化学习数据的局部结构,并通过l2,1-范数对非负矩阵进行稀疏约束;最后,利用半二次优化技术（Half-Quadratic Optimization Technique,HQ）进行优化,并分析了收敛性和计算复杂度.在五个图像数据集上进行测试,实验结果表明,提出的框架在图像聚类任务中具有较好的有效性和鲁棒性.     

一种基于流形距离核的谱聚类和量子聚类融合算法

谱聚类是一种基于图谱划分理论的聚类算法,本质上是将聚类问题转化为图的最优划分问题;量子聚类可以充分挖掘数据样本的内在信息,是一种基于划分的无监督聚类算法.为了充分发挥谱聚类算法和量子聚类算法的优势,本文提出了一种基于流形距离核的谱聚类和量子聚类融合算法(MFD-NJW-QC).首先,计算数据集的流形距离核矩阵,构造相应的拉普拉斯矩阵;其次,根据拉普拉斯矩阵的若干最大特征值对应的特征向量构造新数据集,并使用量子聚类算法对新构造的数据集进行聚类,从而得到原始数据的类标签;最后,基于7个人工数据集和5个UCI数据集验证MFD-NJW-QC算法的聚类性能.结果显示,MFD-NJW-QC算法能够明显提高聚类性能,尤其对于具有流形结构,且类簇大小不平衡、密度分布不均匀的数据集优势更为突出.     

一种基于半监督多任务学习的特征选择模型

为了综合利用流形学习、多任务学习和正则化约束的优势,提出一种基于全局和局部约束的半监督多任务特征选择(semi-supervised multi-task feature selection,SMFS)模型,在多个任务间共享学习的基础上,构建SMFS模型.该模型采用l2,1范数约束选择最具判别性的特征,避免噪声的干扰,并引入局部信息约束提高特征选择的准确度.将SMFS模型应用于网页自动分类,与目前流行的几种算法进行对比,证明了该算法的有效性.     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

一种多流形正则化的多视图非负矩阵分解算法

在大数据时代,多视图数据普遍存在.多视图聚类是分析多视图数据的一种常用方法.基于多流形正则化非负矩阵分解的多视图聚类是一种极具竞争力的多视图聚类算法,但该算法没有考虑非负矩阵分解的簇排列问题,并且在实验中没有考虑每个视图的差异性.基于上述问题,提出一种优化的多流形正则化的多视图非负矩阵分解算法.该算法的关键问题包括如何利用多视图信息聚类以及如何融合多流形.对多视图数据聚类时,令所有视图的数据共享一个低维的子矩阵,并且最小化所有视图的加权目标函数,从而体现每个视图对聚类的重要性并确保所有非负矩阵分解的簇排列的一致性.在融合多流形信息时,使用基于多视图谱聚类的权重计算方法,加权寻找一致的流形,从而体现每个视图中流形的重要性.实验结果表明,提出的优化策略可以提高多视图聚类的效果.     

半监督平面聚类算法设计

采用以平面为原型来拟合样本的思想设计学习机,已在机器学习和数据挖掘等领域引起广泛关注,然而,如何利用少量标记样本,兼顾平面原型特点实现聚类,鲜见报道.以kPC(k-Plane Clustering)为切入点,在有标样本极端少的情况下,设计了半监督型平面聚类算法semi-kPC.考虑到L1范数较L2范数更为鲁棒的事实,在已有工作L1kPC(L1 norm kPC)的基础上,提出基于L1范数的半监督聚类方法 semi-L1kPC.从每类仅有一个已标样本出发,在人工数据集和UCI数据集上的实验表明:(1)在XOR(Exclusive OR)问题上,平面型的聚类方法的聚类准确率均显著高于k-means算法,因为k-means无法利用平面特性;(2)在引入少量监督信息后,半监督型聚类方法 semi-kPC和semi-L1kPC比其他聚类方法的聚类准确率更高;(3)采用L1范数的semi-L1kPC比semi-kPC的鲁棒性更好.     

基于局部和全局信息的正则化迭代聚类

聚类是一种高效的数据分析方法,经典的K-means算法只适用于类簇为凸形的数据集,谱聚类算法虽然避免了K-means的一些缺点,但相似度中的参数设置问题以及较高的计算、存储复杂度对聚类有所限制.基于局部和全局信息的正则化迭代聚类,先取部分数据作为一个整体聚类,然后逐渐加入少量数据进行迭代求解.该方法继承传统谱聚类的优点,充分利用局部正则化和全局正则化信息,通过迭代方式求解使较大规模数据聚类成为可能.通过实验对比结果显示,该算法有良好的聚类效果.     

属性自表达的低秩无监督属性选择算法

针对现有无监督属性约简方法只单一使用子空间学习或属性选择的方法,并且忽略数据之间的内在相关性,本文提出一种新的属性选择方法。首先提出一个属性自表达损失函数加上一个稀疏正则化(l2,1-范数)实现无监督学习与属性选择。然后嵌入子空间学习方法,并使用低秩约束和图正则化项考虑数据的全局结构和局部结构。经聚类实验验证,该算法较对比算法能取得更好的效果。     

自适应的L1-L2范数正则化图像去噪方法

提出了一种自适应的L1-L2范数正则化图像去噪方法.相比传统的L1范数正则化与L2范数正则化,新方法有效消除了阶梯效应,同时较好的保持了图像边缘信息.为了提高计算效率,将Split Bregman算法框架应用到提出的模型中,有效的提升了收敛速率并减少了计算时间.实验结果与分析验证了L1-L2范数正则化模型在图像去噪效果与计算效率的有效性.     

基于成对约束的主动学习半监督聚类算法

半监督学习是近年来机器学习领域中的一个重要研究方向,其监督信息的质量对半监督聚类的结果影响很大,主动学习高质量的监督信息很有必要.提出一种纠错式主动学习成对约束的方法,算法通过寻找聚类算法本身不能发现的成对约束监督信息,将其引入谱聚类算法,利用该监督信息来调整谱聚类中点与点之间的距离矩阵.采用双向寻找的方法,将点与点间距离进行排序,使得学习器即使在接收到没有标记的数据时也能进行主动学习,实现了在较少的约束下可得到较好的聚类结果.同时,该算法降低了计算复杂度,并解决了聚类过程中成对约束的奇异问题.通过在UCI基准数据集以及人工数据集的实验表明,算法的性能好于相关对比算法,并优于采用随机选取监督信息的谱聚类性能.     

基于密度敏感的改进自适应谱聚类算法

针对谱聚类算法在构造相似矩阵时对尺度参数敏感以及对多尺度数据集聚类效果不太理想的问题,提出了基于密度敏感的改进自适应谱聚类算法.首先利用密度差来调整簇类样本点之间的相似度构造新的相似矩阵函数,然后利用新的相似矩阵构造拉氏矩阵,选取拉氏矩阵的前k个最大特征值对应的特征向量组成新的向量空间,新的向量空间中的点与原始数据一一对应,最后引入K-means聚类算法对数据点进行聚类.该算法在降低对尺度参数敏感性的同时又改善了对多尺度数据集的处理.通过在人工数据集以及UCI数据集仿真实验结果表明,本文提出的算法具有较优的聚类效果.     

基于DCBM的马尔可夫谱聚类社区发现算法

谱聚类划分算法是经典社区发现算法之一,由于目前构造的相似图承载的社区结构信息较少,导致聚类效果与理想效果具有较大差距,因此,提出了基于DCBM的马尔可夫谱聚类社区发现算法MSCD.首先,基于DCBM模型提出了以节点间连接概率为元素的概率矩阵,并建立了概率矩阵与相似矩阵之间的映射关系;其次,利用马尔可夫链重构了谱聚类的相似图;最后,使用重构的相似图对网络进行社区划分.在人工合成网络和真实网络上与SC,MRW-KNN和FluidC三种典型算法进行了对比实验.实验结果表明,MSCD算法具有更加高效的聚类性能,能够揭示更加清晰的社区结构.     

半监督凸非负矩阵分解

基于流形正则化思想,提出了半监督凸非负矩阵分解算法.该算法通过类间图和类内图刻画数据的内在几何结构,使得所提算法不但具有数据矩阵凸分解特性,而且保持它的几何结构和判别信息.最后,人脸数据集上的实验研究表明所提算法能够获得良好的识别性能.     

一种基于测地距离的密度峰值聚类改进算法

密度峰值聚类算法（DPC）具有准确率高、自动检测类别个数、识别中心点数目等优良性质.由于DPC算法用欧氏距离度量样本点之间的邻近关系,导致无法有效地提取高维复杂数据中的流形结构信息.针对密度峰值聚类算法的这个瑕疵,考虑到数据点之间的几何特性和流形结构,以测地距离替代欧氏距离,设计了一种改进的密度峰值聚类算法.数值模拟结果显示,改进的密度峰值聚类算法能够有效地处理具有流形分布特征的数据聚类问题.     

基于自适应层次谱聚类与遗传优化的TSP算法

提出一种基于自适应层次谱聚类与遗传优化的算法求解大规模TSP,算法首先构建一种自适应相似矩阵,并应用到谱聚类算法中实现城市的初步聚类,当聚类城市规模超过设定阈值,用上述自适应谱聚类算法进行层次聚类,直到每类城市规模均小于阈值;其次,采用结合了最近邻与禁忌思想的改进遗传算法求解GTSP,得类间最短回路;最后,用改进遗传算法求解每类城市群的最优解,综合类间GTSP最短回路以及类内TSP最优解,即得大规模旅行商问题的最优解.实验结果表明,该算法能够取得相对较优解且求解效率显著提高.     

基于区间数贴近度的最大树聚类算法研究

针对特征指标和权重指标均为区间数的多指标信息聚类问题,在传统的数值信息最大树聚类法的基础上,给出了基于区间数的多指标信息聚类问题的一种具体算法.在此过程中,加权相似矩阵的提出克服了属性权重对聚类产生的双重影响;并通过引入相对贴近度的概念,对相似区间进行排序.最后,通过实例验证了此算法的有效性.     

基于鲁棒鉴别特征学习的图像特征提取算法

为了增强图像特征鉴别力和鲁棒性,获取图像紧致特征表达是关键.现有的图像特征学习方法大多采用最大化L2范数的方式定义,导致其对噪声和异常值十分敏感.针对这个问题,提出了一种基于L2,1范数的鲁棒鉴别特征学习算法.该算法在数据预处理中加入了类内聚拢操作,使得同类样本尽可能靠近,减小了类内异常样本以及强噪声样本的影响;此外,...