基于局部线性嵌入(LLE)非线性降维的多流形学习

为了研究多人脸多表情数据集的多流形学习问题,提出了一种基于局部线性嵌入(LLE)算法的多流形学习方法.对于分布在不同流形上的高维数据,该方法在降维的同时首先对数据集进行非监督的聚类,然后分析每一类数据的低维流形的本质维数以及流形空间的构成,聚类及流形空间的确定是通过对LLE降维的结果进行分析而完成的,计算复杂度小.在Cohn-Kanade人脸表情数据库上的表情识别实验表明,该方法在多人脸多表情流形的学习中优于基本的LLE算法,表情的识别率提高了20%～40%.     

一种面向分类的核局部线性嵌入算法

局部线性嵌入算法(LLE)已被广泛运用于模式分类,但它存在两个缺点。首先LLE是一种无监督学习方法,没有很好地利用类别信息;其次,LLE算法假设数据在局部上的分布是线性的,如数据非线性分布则效果有限。对此,提出了一种解决分类问题的核局部线性嵌入算法。利用KLLE算法的思想寻找样本的内在流形分布,并通过重构误差来判定该样本的类别。所提方法考虑了样本的类别信息,也适合于处理局部非线性分布的数据。在Yale人脸库的实验结果验证了其有效性。     

基于局部线性嵌入的多流形学习故障诊断方法

故障样本具有复杂多样性,而不同故障类型存在于不同维数的多流形子空间中,将样本统一降维到同一维数的单流形上则不能进行高效的特征提取.提出了一种基于局部线性嵌入(Local Linear Embedding,LLE)的多流形学习(Multi-LLE)故障诊断方法,将单流形故障诊断方法扩展到多流形,首先利用Multi-LLE分别提取各故障数据集在其本征维数流形上的特征,再通过各特征向量的聚类中心与故障新样本在不同维数下的嵌入向量的距离比较,将距离最近者归为一类实现分类识别.利用转子实验故障数据对算法进行了验证,并将Multi-LLE方法与LLE和海赛局部线性嵌入(HLLE)方法进行了比较,结果表明该方法能够有效的实现故障诊断.     

面向等维独立多流形的增量学习算法IMM-ISOMAP

流形学习是机器学习与数据挖掘领域的一个重要研究方向。其经典算法总是假设高维数据批量存在于单一流形,且不能有效处理增量式出现的高维多流形数据。针对等维独立多流形提出一种增量学习算法IMM-ISOMAP。首先在对新样本增量地更新动态邻域时,仅修改关键路径,避免重新计算全部邻域关系,以提高算法整体效率。然后通过扩展切空间的方法将新样本依次划分到各子流形,实现新样本的增量式分类算法。最后对各子流形计算低维嵌入并进行合并。实验结果表明,该算法可以有效地应用于人造多流形数据和实际得多流形图像数据。     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

基于参数嵌入算法的支持向量机分类可视化研究

针对常用的降维算法只能可视化高维数据某一方面或某几方面特征的不足,运用参数嵌入算法在低维空间可视化其所有的特征。首先假设数据的类别在嵌入空间服从高斯分布,通过支持向量机分类算法获得训练数据在高维空间类别属性的后验概率,然后运用参数嵌入算法得到测试数据在嵌入空间的坐标和类别属性,从而实现高维数据分类的可视化．在Usps,YaleB,Mini Newsgroups数据集上的实验结果表明,该方法不仅能在低维空间表示高维数据与所属类别的联系,而且能正确揭示出数据集内部和类别集内部的关系,有利于深入研究高维数据分类的性质,参数嵌入算法的可视化效果优于直接应用PCA,ISOMAP等算法得到的低维图形,并且计算复杂度仅是数据类别和相应个数的乘积,非常适合于数据量大,类别数较少的数据分类可视化。     

基于增强多流形学习的监控视频追踪算法

提出了一种多流形局部线性嵌入的流形学习算法,为每个类的流形学习过程设计了一种监督的近邻点选择方法,将流形-流形距离作为度量指标,搜索最优的低维空间.在视频追踪算法中对外部数据库进行图像训练预处理,为人脸检测建立级联分类器,利用均值粒子滤波器结合跟踪校正策略对人脸图像实时跟踪,采用多流形训练的结果从视频流的人脸集中检测出追踪的目标人脸.仿真实验结果表明本算法对不同的数据集均获得了较高的检测率与较高的计算效率.     

基于局部约束字典学习的非线性降维人脸识别

针对现有的非线性降维(NLDR)算法复杂度高而不能很好地处理现实世界大规模数据集的问题,提出了基于局部约束字典学习的非线性降维(LCDL-NLDR)方法。首先通过一些潜在的标志点重构极小的内在流形,并将训练数据和未知数据自然地嵌入到内部流形中;然后利用局部约束字典学习(LCDL)算法在非线性流形中学习由标志点组成的紧密原子集;最后利用最近邻分类器完成人脸的识别。在扩展的YaleB及CMU PIE两大人脸数据库上的实验验证了所提方法的有效性及鲁棒性,通过与几种先进的字典学习算法比较表明,所提算法提高了嵌入质量,取得了更高的识别率,同时也大大地降低了NLDR算法的复杂度。     

流形学习方法及其在头部姿势估计中的应用

流行学习是一种新的数据降维方法,能揭示数据的内在变化规律,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前流形学习以其出色的数据约简与可视化能力得到了越来越多模式识别与机器学习工作者的重视。本文介绍了一些常用的流形学习算法,分析了这些算法的优缺点,并利用流形学习中的局部线性嵌入(LLE)算法于头部姿势估计,取得了较好的识别效果。     

多信息融合的LPP算法

针对原始局部保持投影(LPP:Local Preserving Projection)算法难以准确获取非均匀高维数据的局部流形结构且未利用样本类别信息的缺陷,提出一种多信息融合的局部保持投影算法(MIF-LPP:Multi-Information Fusion Local Preserving Projection)。该算法使用改进后的标准欧氏距离获取样本的近邻和互邻信息,降低了样本点分布不均和不同维度数据量纲差异的影响。通过融合样本的类别信息构造权值矩阵,进而获得数据的低维本质流形。最后,分别在CWRU(Case Western Reserve University)数据集和本实验室轴承数据集上验证该算法的有效性。实验结果表明,MIF-LPP算法的特征提取性能明显优于其他算法,并且对邻域值具有鲁棒性。     

利用增量式非线性流形学习的状态监测方法

针对传统流形学习方法难以处理大批量设备运行数据的特点,提出了一种采用增量式流形学习方法的机械设备状态监测方法.该方法首先利用局部切空间排列算法对训练样本集进行非线性维数约简,得到初始的低维流形结构,然后通过增量式学习机制对新增的时序样本点进行动态聚类.通过对压缩机喘振试验数据及滚动轴承故障数据的分析表明,该方法的计算复杂度低,可以有效地识别出隐藏在高维特征集中的非线性故障特征,因此具有良好的工程应用前景.     

一种新的基于自组织映射的流形学习算法

针对自组织映射(Self-Organizing Map,SOM)算法在进行流形学习时容易陷入局部极值和产生"拓扑缺陷"问题的原因,提出了一种新的基于SOM的流形学习算法:TO-SOM(Training Orderly-SOM).根据流形的局部欧氏性,TO-SOM算法从一个局部线性或近似线性的数据子集出发,按照数据的内在流形结构对其进行有序训练,可以避免局部极值、克服"拓扑缺陷".根据SOM算法的鲁棒性,TO-SOM算法在成功学习数据内在流形结构的同时,对邻域大小参数和噪声也不像ISOMAP和LLE等现有流形学习算法那样敏感,从而更容易得到实际应用.     

基于DDR的字典学习在光照变化人脸识别中的应用

针对光照变化人脸识别中大多数现有的人脸识别算法只能单独实施降维或者字典学习而不能完全利用训练样本判别信息的问题,提出了基于判别性降维的字典学习算法。首先,利用经典的特征提取算法PCA初始化降维投影矩阵;然后,计算字典和系数,通过联合降维与字典学习使得投影矩阵和字典更好地相互拟合;最后,利用迭代算法输出字典和投影矩阵,并利用经l2-范数正则化的分类器完成人脸的识别。在PIE及扩展的YaleB两大人脸数据库上得到了验证了所提算法的有效性及可靠性,实验结果表明,相比几种较为先进的线性表示算法,所提算法在处理光照变化人脸识别时取得了更高的识别率。     

几种维数约简方法在人脸识别中的比较研究

流行学习是一种分类问题的有效解决方法.采用人脸数据库作为样本集,对主要几种线性算法和LLE算法进行实验分析,尝试引入一种监督LLE算法,在针对人脸数据库的实验中发现该算法在提取非线性特征中有较好的效果.     

采用邻域关联性的非监督流形对齐算法

假设对于两个流形上关联性较强的样本点,其邻域点之间也会具有较强的关联性.基于此假设,提出一种新的非监督流形对齐算法,通过学习局部邻域之间的关联性,挖掘不同流形样本点间的关联性;然后,将两个流形样本点投影到共同的低维空间,同时保持所挖掘的关联性.结果表明:与传统的非监督流形对齐算法比较,文中算法能更准确地找出不同流形数据在低维空间的匹配点.     

基于类属特征的多标签流形学习分类方法

多标签流形学习(multi-label manifold learning, ML$^{2}$)基于特征流形构建标签流形, 将标签逻辑值转换为实数值, 能更好地反映标签相关性, 提高分类性能. 但是, ML$^{2}$ 与多数多标签分类方法一样, 是基于数据的全部特征进行标签预测, 没有考虑不同特征对不同类别标签的鉴别能力. 因此, 提出一种基于类属特征的多标签流形学习分类(label specific feature based multi-label manifold learning, LSF-ML$^{2}$)方法. 首先, 利用标签数据优化类属特征重要度矩阵, 确定类属特征子集; 再将子集的特征流形映射到标签空间, 使标签从离散型变为数值型; 最后, 通过多输出回归实现分类. 实验结果表明, 所提方法性能优于多种多标签分类方法.     

基于K近邻和多类合并的密度峰值聚类算法

针对密度峰值聚类（DPC）算法在处理结构复杂、 维数较高以及同类中存在多个密度峰值的数据集时聚类性能不佳的问题, 提出一种基于K近邻和多类合并的密度峰值聚类（KM-DPC）算法. 首先利用定义的密度计算方法描述样本分布, 采用新的评价指标获取聚类中心; 然后结合K近邻思想设计迭代分配策略, 将剩余点准确归类; 最后给出一种局部类合并方法, 以防将包含多个密度峰值点的类分裂. 仿真实验结果表明, 该算法在22个不同数据集上的性能明显优于DPC算法.     

基于随机Fourier有监督特征变换降维算法的人脸检测方法

针对传统人脸检测方法采用空间向量对复杂环境下的高维度人脸特征进行辨识时, 存在检测效率低、 检测精度差的问题, 提出一种基于随机Fourier有监督特征变换降维算法的人脸检测方法. 首先, 通过随机Fourier映射随机形成大规模多维候选集合, 采用特征选择算法获取特征集内的最佳子集; 其次, 基于l_2,1范数的极限学习机, 产生高斯核拟合效果的随机映射, 利用l_2,1正规则化过滤掉人脸随机特征中的无价值及冗余特征, 并对该过程进行优化, 提高人脸特征降维的精度; 最后, 采用基于降维特征与Adaboost算法的人脸检测方法获取的降维特征, 通过Boosted级联算法获取级联分类器, 实现人脸特征的准确检测. 实验结果表明, 该方法的漏检率和误检率均为8%, 平均检测时间为118 ms, 运行效率和检测精度均较高.