流形学习方法及其在头部姿势估计中的应用

流行学习是一种新的数据降维方法,能揭示数据的内在变化规律,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前流形学习以其出色的数据约简与可视化能力得到了越来越多模式识别与机器学习工作者的重视。本文介绍了一些常用的流形学习算法,分析了这些算法的优缺点,并利用流形学习中的局部线性嵌入(LLE)算法于头部姿势估计,取得了较好的识别效果。     

两种基于谱方法的流形学习算法研究

流形学习方法是一种新型的非线性降维方法,它可以有效地对具有内在流形形式的非线性高维数据进行维数约简.目前,流形学习已被成功应用于聚类、可视化等数据挖掘领域,表现出卓越的性能.首先讨论了流形学习的研究现状,然后介绍了这一领域中影响最大的2种算法:局部线性嵌入算法和等距特征映射算法.     

基于局部线形嵌入算法的雷达目标识别

维数约减问题出现在信息处理的许多方面,非线性方法主要有局部线性嵌入LLE (Locally Linear Embedding) 、拉普拉斯特征映射(Laplacian Eigenmap) 、基于Hessian 矩阵的LLE 等,它们通过在高维空间中设计数据集所在流形的拓扑、几何等特性,很好地弥补了线性降维不能发现数据集非线性结构的不足.其中局部线性嵌入这种非监督学习算法应用广泛,在此基础上将其用于作为雷达目标识别的五种飞机数据,取得了很好的效果.     

流形学习算法分析及比较

笔者从介绍流形与流形学习的概念和数学描述入手,对等距映射算法(Isomap),局部线性嵌入算法(LLE),拉普拉斯特征映射算法(LE)进行了分析与比较,目的是了解这三种主要的流形学习算法的特点,能更好地进行数据的降维与分析.     

基于流形学习的纤维丛模型研究

针对数据的高维性,维数约简成为了热点的研究方向,各种流形学习算法都试图发现高维数据的内在结构与规律,然而都是基于小邻域的学习,如何将全局和局部的数据学习结合起来是一个尚未解决的问题.纤维丛是微分流形中的重要理论,比如线性空间中每个子空间都可以看成是一个纤维,它们的集合是纤维丛.本文在流形学习基础上引入纤维丛,给出纤维丛模型,并提出基于切丛局部主方向的向量空间降维算法,该算法用k-均值划分数据集并在各块上求主成分,由第一主方向组成的切丛截面,在截面流形上进行利用等度规映射（ISOMAP）降维,最后在模拟数据和人脸数据上进行实验说明了算法的有效性.     

基于黎曼流形的轴承故障诊断方法

为解决传统流形学习方法在轴承数据的非欧氏空间中特征提取时的不佳表现,提出引入黎曼流形学习方法.在黎曼流形的框架下,利用原始数据集构造出黎曼流形,并基于此流形提出了黎曼图嵌入特征提取方法,通过对局部结构编码实现初步降维.然后,在低维黎曼流形的基础上融合主成分分析算法(PCA:Principal Components Analysis)和线性判别分析算法(LDA:Linear Discriminant Analysis)设计分类器并对轴承数据进行了聚类.最后,通过在两个轴承数据集上的实验,分析了该方法提取特征的能力.实验结果表明,与现有的故障诊断方法相比,该方法具有较强的故障诊断能力.     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

一种面向分类的核局部线性嵌入算法

局部线性嵌入算法(LLE)已被广泛运用于模式分类,但它存在两个缺点。首先LLE是一种无监督学习方法,没有很好地利用类别信息;其次,LLE算法假设数据在局部上的分布是线性的,如数据非线性分布则效果有限。对此,提出了一种解决分类问题的核局部线性嵌入算法。利用KLLE算法的思想寻找样本的内在流形分布,并通过重构误差来判定该样本的类别。所提方法考虑了样本的类别信息,也适合于处理局部非线性分布的数据。在Yale人脸库的实验结果验证了其有效性。     

基于局部线性嵌入(LLE)非线性降维的多流形学习

为了研究多人脸多表情数据集的多流形学习问题,提出了一种基于局部线性嵌入(LLE)算法的多流形学习方法.对于分布在不同流形上的高维数据,该方法在降维的同时首先对数据集进行非监督的聚类,然后分析每一类数据的低维流形的本质维数以及流形空间的构成,聚类及流形空间的确定是通过对LLE降维的结果进行分析而完成的,计算复杂度小.在Cohn-Kanade人脸表情数据库上的表情识别实验表明,该方法在多人脸多表情流形的学习中优于基本的LLE算法,表情的识别率提高了20%～40%.     

基于流形弯曲度的有序自适应邻域选择算法

针对传统邻域选择方法不能根据流形样本密度和弯曲度合理选择邻域的缺点,提出了一种有序自适应的邻域选择算法.该算法从流形上曲率最小的点开始,以宽度优先的次序不断地处理每个点.对搜索到的数据点,基于流形结构的局部线性特性,利用已有的邻域信息估算其局部切空间,然后通过其邻域边在切空间的投影自适应地选择合适的邻域.实验结果表明:该算法应用于Isomap后,对不同结构的数据集嵌入结果更准确.     

An adaptive spatial clustering method for automatic brain MR image segmentation

In this paper, an adaptive spatial clustering method is presented for automatic brain MR image segmentation, which is based on a competitive learning algorithm – self-organizing map (SOM). We use a pattern recognition approach in terms of feature generation and classifier design. Firstly, a multi-dimensional feature vector is constructed using local spatial information. Then, an adaptive spatial growing hierarchical SOM (ASGHSOM) is proposed as the classifier, which is an extension of SOM, fusing multi-scale segmentation with the competitive learning clustering algorithm to overcome the problem of overlapping grey-scale intensities on boundary regions. Furthermore, an adaptive spatial distance is integrated with ASGHSOM, in which local spatial information is considered in the clustering process to reduce the noise effect and the classification ambiguity. Our proposed method is validated by extensive experiments using both simulated and real MR data with varying noise level, and is compared with the state-of-the-art algorithms.     

一种新的自学习特征映射算法研究

为了有效地提高矢量量化(VQ)码书的性能,提出了一种新的自学习特征映射(SLM)算法,并应用到图像VQ中,实验表明,与自组织特征映射(SOM)算法相比,SLM算法具有聚类特性好和峰峰信噪比高等优点,是一种非常有前途的码书设计算法.     

Personalized movie recommendation method based on ensemble learning

Aiming at the personalized movie recommendation problem, a recommendation algorithm in-tegrating manifold learning and ensemble learning is studied. In this wor...     

曲指数族流形在无线传感器网络定位中的应用

利用信息几何中的统计流形理论和自然梯度流形学习定位方法,研究了基于接收信号强度（RSS）的无线传感器网络自定位问题.首先,通过概率密度函数构造了一个曲指数族定位模型;然后,针对给定初始状态值的未知目标节点定位问题,结合梯度下降法,提出了基于此模型的最优非线性估计方法及其改进算法.梯度下降法的良好性质和仿真结果表明,这些算法有很好的收敛效果和更高的定位精度.      

一个关于如何选择核函数的框架

如何为特定的机器学习任务选择合适的核函数,是统计学习和核方法理论中的一个具有挑战性的问题。在此从保形映射和流形学习的角度,提出了一种探索性解决方法,并以实验检验这种构想,做出了初步结论。     

多邻域保持嵌入的人脸识别方法

现有流形学习算法在学习人脸数据时,假设所有数据点位于单一低维嵌入流形之上,当数据点实际分布在不同的流形上时,单流形假设就会影响数据真实空间结构。为此提出一种基于多邻域保持嵌入(multiple neighborhood preserving embedding,M-NPE)的学习算法来发现不同类别数据在不同维度的低维嵌入空间中分布的多流形结构。首先,单独学习不同类别数据的流形,得到反映其本质特征的流形;再通过遗传算法搜索每个流形的最优维数;最后依据最小重构误差分类器对样本分类。在Extended Yale B和CMU PIE这2个大型人脸库上实验结果验证了该算法的有效性。     

LKLR: A Local Tangent Space-Alignment Kernel Least-Squares Regression Algorithm

In the fields of machine learning and data mining, label learning is a nascent area of research, and within this paradigm, there is much room for improving multi-label manifold learning algorithms for high-dimensional data. Thus far, researchers have experimented with mapping relationships from the feature space to the traditional logical label space(using neighbors in the label space, for example, to predict logical label vectors from the feature space's manifold structure). Here we combine the feature manifold's and label space's local topological structures to reconstruct the label manifold. To achieve this, we use a nonlinear manifold learning algorithm to transform the local topological structure from the feature space to the label space. Our algorithm adopts a regularized leastsquares kernel method to realize the reconstruction process, employing an optimization function to find the best solution. Extensive experiments show that our algorithm significantly improves multi-label manifold learning in terms of learning accuracy and time complexity.     

采用迁移学习的表面肌电信号手势识别方法

为解决采用表面肌电信号(surface electromyography, sEMG)进行手势识别时电极贴片位移、受试者动作变化等复杂情况下分类识别准确率下降这一问题,提出了一种基于表面肌电信号与迁移学习的手势分类模型。首先对4通道表面肌电信号进行活动段提取与降噪处理,然后提取活动段信号的四种时域特征与两种频域特征。采用流形嵌入分布对齐(manifold embedded distribution alignment,MEDA)方法将源领域和目标领域的特征矩阵嵌入到格拉斯曼流形中进行流形特征学习,减小两域之间的数据差异,消除特征退化;同时根据自适应因子执行动态分布对齐,动态调整数据不同分布差异下边缘分布和条件分布的相对重要性。对多名受试者开展实验以验证所提方法的合理性,实验结果表明:所提方法与决策树(decision tree, DT)、支持向量机(support vector machine,SVM)、k临近(k-nearest neighbor,KNN)三种传统机器学习方法相比,识别准确率分别提高了13%、21%、9%。与未执行流形学习与动态分布对齐的联合分布适配(joint distribution adaptation,JDA)迁移学习方法相比,识别准确率提高了52%,达到93%。     

基于凸规划观点的神经网络学习

人工神经网络最重要的特征就是网络的学习能力,通过对神经网络内部权值的调整,学习外部环境结构的特征和信息的表示.从信息几何的角度,对神经网络的学习过程进行了几何描述,并将神经网络的学习问题转化为,最小化外部环境表示的真实分布与网络模型表示的逼近分布之间的"距离",并证明了对于可编码成指数簇流形的神经网络是凸规划问题.为神经网络学习的研究提出了一个新的思路,也为在高维非线性空间中解决网络学习问题的有效性,从信息几何的角度给出了一种解释.     

基于局部约束字典学习的非线性降维人脸识别

针对现有的非线性降维(NLDR)算法复杂度高而不能很好地处理现实世界大规模数据集的问题,提出了基于局部约束字典学习的非线性降维(LCDL-NLDR)方法。首先通过一些潜在的标志点重构极小的内在流形,并将训练数据和未知数据自然地嵌入到内部流形中;然后利用局部约束字典学习(LCDL)算法在非线性流形中学习由标志点组成的紧密原子集;最后利用最近邻分类器完成人脸的识别。在扩展的YaleB及CMU PIE两大人脸数据库上的实验验证了所提方法的有效性及鲁棒性,通过与几种先进的字典学习算法比较表明,所提算法提高了嵌入质量,取得了更高的识别率,同时也大大地降低了NLDR算法的复杂度。