一种适于高维小样本数据的线性判别分析方法

针对高维小样本数据的类（模式）内离散度矩阵常为奇异,提出了一种改进的线性判别分析方法ModLDA。它通过嵌入偏最小二乘算法,完成投影方向矢量的稳健估计,进而提取出若干个特征变量。而后基于特征变量张成的低维空间,构造样本类别的线性判别函数。在实证中,将ModLDA应用于药物光谱数据的化学模式识别,结果显示ModLDA方法判别能力明显优于其他方法。     

基于PCA和LDA融合的手写数字识别方法

提出一种融合主成分分析(PCA)和线性判别分析(LDA)的手写数字识别方法.由于PCA能减少不同特征间的相关性和冗余性,而LDA获得的特征子空间具有良好的判别能力,对PCA和LDA特征子空间进行融合能实现两者优势互补,提高手写字符分类性能.实验结果表明, 提出的方法能有效提高手写数字的识别率.     

基于Kreǐn空间的两阶段子空间学习

为了解决不定核Fisher判别分析(IKFDA)在处理高维小样本数据时的病态问题,基于Kreǐn空间提出了两阶段的IKFDA学习框架TP-IKFDA;为了解决不定核典型相关分析(IKCCA)在处理高维小样本数据时的过拟合问题,提出了两阶段的IKCCA学习框架TP-IKCCA.通过不定核主成分分析(IKPCA)进行降维处理,减弱高维特征所带来的负面影响;然后,在降维后的特征空间中进行Fisher判别分析(FDA)或典型相关分析(CCA).真实数据集上的试验结果表明,与IKPCA、IKFDA以及IKFDA的改进算法相比,TP-IKFDA的分类精度明显提高;TP-IKCCA相较于现有的IKCCA模型泛化性能得到了进一步改善.因此,在处理高维小样本数据时,TP-IKFDA和TP-IKCCA的实际泛化性能优于现有的不定核子空间学习技术.     

基于互补子空间线性判别分析的人脸识别

基于随机子空间,提出了一种用于人脸识别的互补子空间线性判别分析方法. 与Fisherface和零空间线性判别分析相比,该方法同时在主元子空间和零空间中进行判别分析,并在特征层融合这两个子空间的判别特征. 根据最适宜的零空间状态构建随机子空间,随机子空间的融合在决策层进行. 多个人脸数据库上的实验结果表明,本算法能够有效地解决线性判别分析中的小样本规模问题.     

基于黎曼流形的轴承故障诊断方法

为解决传统流形学习方法在轴承数据的非欧氏空间中特征提取时的不佳表现,提出引入黎曼流形学习方法.在黎曼流形的框架下,利用原始数据集构造出黎曼流形,并基于此流形提出了黎曼图嵌入特征提取方法,通过对局部结构编码实现初步降维.然后,在低维黎曼流形的基础上融合主成分分析算法(PCA:Principal Components Analysis)和线性判别分析算法(LDA:Linear Discriminant Analysis)设计分类器并对轴承数据进行了聚类.最后,通过在两个轴承数据集上的实验,分析了该方法提取特征的能力.实验结果表明,与现有的故障诊断方法相比,该方法具有较强的故障诊断能力.     

带权稀疏PCA算法及其应用

主成份分析(PCA)算法是特征提取的重要方法之一,由于其本身没有提供更多的分类信息,直接在其上进行识别效果往往并不理想。为了提取PCA特征值中有利于识别的特征信息,提出一种带权稀疏PCA算法。它利用基本PCA算法实现去噪功能,利用Lagrange乘子方法求得使PCA特征空间中类内距离最小,类间距离最大的一组权值,并利用稀疏PCA(SPCA)算法解决维数约简和保留小特征值对应的特征向量所含的分类信息。在公开人脸数据库上对该算法进行测试,实验结果表明该算法不仅运行速度快,而且有较高的正确识别率。     

基于稀疏保持拉普拉斯判别分析的特征提取算法

针对稀疏保持投影算法在特征提取过程中无监督和l1范数优化计算量较大的问题,提出一种基于稀疏保持拉普拉斯判别分析的快速特征提取算法.首先通过逐类主元分析(PCA)构造级联字典,并基于该字典通过最小二乘法快速学习稀疏保持结构;其次利用学习到的稀疏表示结构正则化拉普拉斯判别项达到既考虑判别效率又保持稀疏表示结构的目的;所提算法最终转化为一个求解广义特征值问题.在公共人脸数据库(Yale,ORL和扩展Yale B)的测试结果验证了该方法的可行性和有效性.     

基于核Fisher判别分析的粮虫特征压缩方法

针对粮仓害虫种类多、类别之间相似度比较高的特点,提出基于核Fisher判别分析的粮虫特征压缩方法.利用高斯径向基核函数,对特征选择后的10维原始数字特征进行核Fisher判别分析,即通过非线性变换将样本数据从输入空间映射到高维特征空间,然后在高维特征空间进行特征提取.从粮虫分类效果方面,将KFDA法与FDA法、PCA法和KPCA法3种方法进行了比较分析.应用KFDA法提取的前4个特征,由最近邻分类器对粮仓中常见的9类粮虫进行分类,验证集的识别率为93.33%.结果表明:KFDA法对粮虫特征的非线性比较敏感,在有效降低特征维数的同时,还提高了类别之间的可分性.     

基于PCA_LDA和协同表示分类的人脸识别算法

人脸识别是近年来模式识别领域的热门课题,其中特征提取和分类器选择是人脸识别的关键步骤。主成分分析和线性判别分析是特征提取的主要方法之一,但主成分分析忽略了数据的类别信息,线性判别分析类内散度矩阵奇异,导致投影矩阵无法直接得出。为解决以上问题,本文提出基于PCA_LDA和协同表示人脸识别算法,该算法结合主成分分析和线性判别分析,将人脸的特征信息压缩到一个更小的子空间内,再采用协同表示分类算法对测试图像进行识别。在ORL人脸库、FERET人脸库和YALE人脸库上的大量实验证实,本文算法能精确地提取到高维图像信息的主要特征,在保留特征信息的同时,大大减小了计算的复杂度。而且相比其它几种典型算法,本文算法具有更高的识别率和更健壮的抗干扰性能。     

线性判别分析与主成分分析及其相关研究评述

线性判别分析（LDA）和主成分分析（PCA）都在各个领域有着重要的作用。他们各自抓住样本在特征空间的不同特征,一般情况下更趋向于使用LDA,因为LDA直接处理类间的分析问题,而PCA则没有突出类的结构。然而实验证明PCA在某些问题上又明显优于LDA。于是,改进或结合使用LDA与PCA成了非常必要的课题。现阶段在这个领域上已经有许多优秀的研究成果,本文简单的介绍了其中几种效果较好的相关分析方法,其中又以混合判别分析（HDA）最优。HDA不仅同时抓住了样本的判别信息和描述信息,使PCA与LDA在各种情况下达到平衡,而且在二维参数空间中提供了一系列的分析方法,更有利于解决小样本问题和高维问题。Boosted HDA的提出通过用迭代的方法改进弱分类器,避免了HDA复杂的参数搜索,并得到一种统一计算HDA的方法。文章将在第三部分引用一些已有的实验结果来验证HDA的优越性。