一种基于线性插值的流形学习算法

作为一种有效的非线性降维方法,流形学习在众多领域引起了广泛关注并取得了长足发展.但当样本点较为稀疏时,样本点的局部邻域很难满足流形学习局部同胚的前提条件,此时流形学习算法往往效果变差甚至失效.一种有效的解决方法是增加一些新的插值点.为此,提出了一种基于三角形重心线性插值技术的流形学习算法.实验结果表明,插值算法能改善样本点的局部结构.将插值算法应用到经典的流形学习算法如LTSA后,实验结果证实了算法的有效性和稳定性.     

非线性流形学习方法的分析与应用

非线性流形学习以保持数据局部结构的方式将高维输入投影到低维空间,发现隐藏在数据中的内在几何结构与规律性,是近年来机器学习与认知科学中一个新的研究热点.文中分析了几种主要的流形学习方法,通过比较给出各方法的优缺点;提出了基于谱分析的非线性降维的统一框架,对于流形学习方法的研究具有重要意义;给出了手写数字和人脸图像序列等降维的实验结果,显示了非线性流形学习在数据约简和可视化方面的有效应用;最后结合作者的研究探索,总结了非线性流形学习需要解决的问题并展望其研究趋势.     

基于局部约束字典学习的非线性降维人脸识别

针对现有的非线性降维(NLDR)算法复杂度高而不能很好地处理现实世界大规模数据集的问题,提出了基于局部约束字典学习的非线性降维(LCDL-NLDR)方法。首先通过一些潜在的标志点重构极小的内在流形,并将训练数据和未知数据自然地嵌入到内部流形中;然后利用局部约束字典学习(LCDL)算法在非线性流形中学习由标志点组成的紧密原子集;最后利用最近邻分类器完成人脸的识别。在扩展的YaleB及CMU PIE两大人脸数据库上的实验验证了所提方法的有效性及鲁棒性,通过与几种先进的字典学习算法比较表明,所提算法提高了嵌入质量,取得了更高的识别率,同时也大大地降低了NLDR算法的复杂度。     

一种基于Biharmonic样条插值的流形学习算法*

作为一种有效的非线性降维方法,流形学习在众多领域吸引了广泛的关注并取得了长足的发展。但当样本点较为稀疏时,样本点的局部邻域很难满足流形学习局部同胚的前提条件,此时流形学习算法往往效果变差甚至失效。一种有效的解决方法是增加一些新的插值点。但已有的插值方法选取的插值点与原样本点均存在线性关系。从线性代数的理论来说,由插值点和原有邻域点张成的线性子空间与原有邻域点张成的子空间是一样的,因此,不会改善线性逼近的误差。而且,插值点没有反应出流形的本质结构和特征,从理论上背离了数据降维的目的。为此,提出了一种基于Biharmonic非线性插值技术的流形学习算法BbMLA。由于是从高维曲面逼近的角度非线性的选择插值点,插值出的样本点不会被原有邻域点线性表示,从而能更好的重构原样本点。将BbMLA应用到多个数据集后,图示说明了插值点能够有效的改善邻域内的样本点结构,同时插值后的流形学习算法具有较好的有效性和稳定性。     

利用增量式非线性流形学习的状态监测方法

针对传统流形学习方法难以处理大批量设备运行数据的特点,提出了一种采用增量式流形学习方法的机械设备状态监测方法.该方法首先利用局部切空间排列算法对训练样本集进行非线性维数约简,得到初始的低维流形结构,然后通过增量式学习机制对新增的时序样本点进行动态聚类.通过对压缩机喘振试验数据及滚动轴承故障数据的分析表明,该方法的计算复杂度低,可以有效地识别出隐藏在高维特征集中的非线性故障特征,因此具有良好的工程应用前景.     

有监督的核局部线性嵌入算法

核局部线性嵌入法是一个优异的流形学习方法,对于非线性高维数据的降维问题,具有较好的效果。但是算法本身是一个无监督学习方法,对于模式分类等有监督学习问题效果不是很好。通过分析监督学习问题的机理,提出了一种有监督的核函数局部线性嵌入算法,数值实验证明算法对于有监督学习问题,具有较好的效果。     

基于局部线性嵌入(LLE)非线性降维的多流形学习

为了研究多人脸多表情数据集的多流形学习问题,提出了一种基于局部线性嵌入(LLE)算法的多流形学习方法.对于分布在不同流形上的高维数据,该方法在降维的同时首先对数据集进行非监督的聚类,然后分析每一类数据的低维流形的本质维数以及流形空间的构成,聚类及流形空间的确定是通过对LLE降维的结果进行分析而完成的,计算复杂度小.在Cohn-Kanade人脸表情数据库上的表情识别实验表明,该方法在多人脸多表情流形的学习中优于基本的LLE算法,表情的识别率提高了20%～40%.     

高维数据流形的低维嵌入问题研究

Isomap是基于流形理论提出的一种非线性降维方法,用于恢复潜藏于高维空间低维子流形中数据的低维参数。Isomap方法的一个重要前提是假设数据空间与参数空间之间存在等距映射。通过流形学习和对Isomap方法的分析,证明了高维数据空间与参数空间之间存在一般意义下的等距映射,并引用一个基于Isomap的实例说明Isomap算法的有效性。     

基于等距离映射的非线性动态故障检测方法

针对化工过程数据强非线性和动态性的特点,提出了一种基于动态等距离映射(Dynamic Isometric Mapping,DISOMAP)流形学习的非线性过程故障检测方法.该方法首先采用DISOMAP算法提取训练样本的子流形特征,自适应学习近邻点参数,保留了采样数据的流形结构,然后运用线性回归方法得到原空间和降维子流形空间的投影映射,从而将观测数据从原高维空间映射到低维嵌入空间,最后在变换后的低维空间构造统计量T2和SPE进行监控.TE过程的仿真结果表明,所提出的DISOMAP故障检测方法可以比核主元分析(Kernel Principle Component Analysis,KPCA)更为有效地监控过程变化,检测到故障的发生.     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。