流形学习中三种非线性降维算法的比较研究

介绍了流形学习中Hessian特征映射、拉普拉斯特征映射和局部切空间排列3种非线性降维算法的概念和实现步骤,并基于三维的Swiss Roll 数据点集通过实验对3种算法在参数选择和运算效率等方面进行了比较分析,期望为不同应用提供参考.     

基于局部线性嵌入(LLE)非线性降维的多流形学习

为了研究多人脸多表情数据集的多流形学习问题,提出了一种基于局部线性嵌入(LLE)算法的多流形学习方法.对于分布在不同流形上的高维数据,该方法在降维的同时首先对数据集进行非监督的聚类,然后分析每一类数据的低维流形的本质维数以及流形空间的构成,聚类及流形空间的确定是通过对LLE降维的结果进行分析而完成的,计算复杂度小.在Cohn-Kanade人脸表情数据库上的表情识别实验表明,该方法在多人脸多表情流形的学习中优于基本的LLE算法,表情的识别率提高了20%～40%.     

一种利用局部标记相关性的多标记特征选择算法

随着近年来研究的深入,多标记学习已快速渗透到了各个领域中.在多标记学习中,每个实例对应着多个标记,且这些标记彼此之间相互关联,因而标记相关性的挖掘与利用对多标记学习有着重要的影响与意义.然而,目前已有的关于多标记学习的算法大多利用了全局标记相关性,即认为对于任一实例,其在学习过程中所利用的标记相关性均相同.而在现实中,不同的实例往往在其学习过程中所利用的标记相关性也不尽相同.将局部标记相关性利用到多标记特征选择算法中,通过对标记空间进行属性聚类将实例划分为组,从而实现局部标记相关性的利用,提出了结合局部标记相关性的多标记特征选择算法(multi-label feature selection by exploiting label correlod locally,Loc-MLFS).与此同时,该算法可以推广为一个统一架构.多个数据集上的实验结果表明局部相关性的利用有效地提高了多标记特征选择算法的有效性.     

重积分的一种降维算法

本文论述了将具有一定条件的重积分的计算问题变成两个定积分的计算，并给出了计算公式和算法。     

一种半监督多流形识别算法

半监督学习方法在多流形学习领域的应用越来越广泛,文章提出了一种基于MPPCA模型的半监督多流形识别算法M2SMPPCA。该算法首先通过MPPCA模型将原始数据集划分成m个"局部数据块",再根据标签信息对这些数据块进行进一步的分解,使每一个数据块中的标签信息一致;然后利用切空间偏差构造能反映出数据点之间局部几何特性的相似图,并通过谱聚类实现多流形的识别;最后利用共协矩阵集成多次分解结果,提高了子流形分解结果的鲁棒性,得到最终的子流形。实验结果表明,该算法在人造数据和实际的高维图像数据上都能有效地分解开相交多流形数据,相较于其他算法极大地提高了分解精度。     

结合流形结构与柔性嵌入的多标签特征选择

将线性回归模型与流形结构相结合,构成了弱线性多标签特征选择的联合框架。首先,用最小二乘损失函数来学习回归系数矩阵;其次,通过标签流形结构来学习数据特征的权重矩阵;再次,用L2,1-范数来约束回归系数矩阵和特征权重矩阵,这样既能引导稀疏性,又有利于特征选择。此外,设计并证明了具有收敛性的迭代更新算法来解决上述提出的问题。最后,所提出的方法在多个经典多标签数据集上进行了验证,实验结果表明了所提算法的有效性。     

一种多重水印零嵌入算法

根据零水印概念,提出一种基于小波和混沌的多重水印零嵌入算法.该算法利用小波零树结构构造匹配矩阵,然后用其加载已由混沌空域置乱的多重二值图像水印.算法实现了多重水印的零嵌入,从根本上保证了水印的不可见性,并能够进行分级盲检测.实验表明,该方法鲁棒性较强,安全性良好,具有可靠性和可行性.     

多标记数据的特征及标记降维方法综述

多标记学习降维方法在实际应用问题中用以处理特征,标记或二者维度较高的数据集,已成为研究热点;针对目前多标记学习降维方法数量众多,种类繁杂而导致缺乏科学分类的问题,从多标记数据降维空间选择的角度,提出将多标记学习降维方法按照特征空间降维,标记空间降维和二者均降维的形式归纳为三类,其中特征空间降维又分为特征降维和特征选择两类问题,分别从独立于和依赖于彼此空间的角度对已有的40余篇文献中的典型多标记学习降维算法的研究现状进行了综述;最后,总结了多标记学习降维方法的研究现状和启示,并提出了未来进一步的研究方向。     

一种基于非线性特征提取的数据降维算法

为了获得良好的图像分类效果,需要采集尽可能多的图像数据特征,进而使得图像原始特征空间的维数越来越高,造成维数灾难.特征提取是通过线性或者非线性映射,将高维特征空间映射到低维空间,从而降低数据维数.现有的特征提取算法往往忽视了数据本身特有的复杂结构以及非线性因素,造成映射方向的模糊以及分类精确度的缺失.充分考虑了图像数据本身的二维特性,通过改进的非线性特征提取方法、流形学习方法来提取图像特征.实验表明,该算法在不影响图像分类效果的前提下可以大大降低数据维数,减少计算复杂度.     

一种多标记学习入侵检测算法

针对现有入侵检测技术的不足,文章研究了基于机器学习的异常入侵检测系统,将多标记和半监督学习应用于入侵检测,提出了一种基于多标记学习的入侵检测算法。该算法采用"k近邻"分类准则,统计近邻样本的类别标记信息,通过最大化后验概率(maximum a posteriori,MAP)的方式推理未标记数据的所属集合。在KDD CUP99数据集上的仿真结果表明,该算法能有效地改善入侵检测系统的性能。     

一种流形仿射对齐算法

研究了高维数据集中共享隐空间的寻找和对齐问题,提出了半监督的流形仿射对齐算法.未匹配点的局部分布信息被有效地利用起来,以改善在匹配点比例较低情况下的学习效果;扩展的谱回归技术的应用,使得线性对齐也能较好地保持高维数据的局部几何信息.实验表明该算法能够找出高维数据的相关性方向,并将其内部隐空间较好地对齐在一起,映射新点的开销也很小.     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

基于半监督PCA-LPP流形学习算法的故障降维辨识

提出一种基于半监督思想PCA-LPP的流形学习维数约简故障辨识方法,兼顾PCA的全局结构和LPP的局部结构保持以及样本的类别信息,构造新的投影矩阵目标函数,给出PCA-LPP流形学习算法的计算原理。采用UCI中wine数据集验证半监督PCA-LPP方法的维数约简性能,并就齿轮箱故障声发射实验信号,以小波包能量熵作为特征向量,并将特征向量的降维结果输入支持向量机进行故障类型辨识。研究结果表明:半监督PCA-LPP方法的降维结果,能够充分考虑不同故障特征向量的差异信息,相应的故障类型辨识精度高于PCA及LPP方法。     

一种改进的不变流形算法

不变流形在动力学研究的许多方面都有重要意义,由于不变流形很难通过解析表达式求解,对其做近似计算就成为重要的手段。介绍了一种改进的流形计算算法,该算法由两步构成：首先利用PDE算法在不变流形上求出一些均匀的点;再借助三角形剖分方法利用PDE算法算出的点画出直观流形图。该算法避免了频繁求解微分方程问题,没有求解多余的轨道,且求解的精度也容易控制,得到的流形图直观。     

一种基于半监督降维的聚类算法

半监督聚类通过利用少量有标号样本或成对约束等监督信息来提高聚类性能.在此提出一种新颖的基于半监督降维的聚类算法,首先用半监督降维方法对原始数据进行降维,然后在降维后的空间中进行半监督聚类.由于在降维和聚类两个阶段中都利用了监督信息,从而使得算法的聚类性能得到进一步提升.在UCI标准数据集、yale人脸库以及文本数据集上的实验结果验证了该算法的有效性.     

一种基于KNN算法的文本降维方法研究

针对文本向量空间中特征项间的关联性及冗余性,提出了一种KNN算法运用于文本向量空间降维的方法,应用向量聚合理论和特征选择以降低特征空间维数,使得降维后的特征项更具有类别代表性.实验证明,KNN算法运用于文本降维方法中,有效地降低了向量空间的维数,提高了文本分类的精度.     

基于标记相关性的多标记三支分类算法

提出了一种基于标记相关性的多标记三支分类算法TML_LC,该算法利用三支决策模型将多标记样本空间划分为接受域、拒绝域和边界域,然后利用概率图模型构建标记之间的相关性,并应用于边界域的延迟决策,从而降低分类模型的时间复杂度,并提高分类模型的精度。     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

一种新的降维算法PCA_LLE在图像识别中的应用

通过结合PCA与LLE两种降维方法,提出新的PCA_LLE算法,使它们优势互补.在手写体数字数据集上进行实验,先对数据集降维,再用K近邻算法对降维后的数据分类.实验结果表明融合两种算法的PCA_LLE降维方法较原来的PCA和LLE算法准确率均有了提升.而且新算法PCA_LLE对新样本的降维时间较LLE算法减少很多.在ORL人脸数据集上的实验表明,PCA_LLE算法较PCA,LLE算法准确率有所提高.     

基于图像欧氏距离流形降维的端元提取算法

由于多重反射和散射,高光谱图像中的混合像元实际上是非线性光谱混合传统的端元提取算法是以线性光谱混合模型为基础,因此提取精度不高针对高光谱图像的非线性结构.本文提出了基于图像欧氏距离非线性降维的高光谱遥感图像端元提取方法该方法结合高光谱数据的物理特性,将图像欧氏距离引入局部切空间排列进行非线性降维以更好的去除高光谱数据集中冗余的空间信息和光谱维度信息,然后对降维后的数据利用寻找最大单形体体积的方法提取端元.真实高光谱数据实验表明,提出方法对高光谱图像端元提取具有良好的效果,性能优于线性降维的主成分分析算法和原始的局部切空间排列算法.