基于鉴别主成份分析的基因表达数据特征提取

针对高维小样本数据特征提取问题,通过融合主成份分析(PCA)和线性判别分析(LDA),提出一种鉴别主成份分析方法。通过对PCA主成份进行单个线性判别,选择主要反应类间差异的主成份来构造特征空间。对yeast和NCI基因表达数据的实验结果表明:该方法在降维的同时能获得较好的判别特征,且能避免线性判别分析方法的奇异性。在子空间的聚类识别率相比PCA提高了20%以上,且具有较好的可视化效果,说明了用该方法对高维小样本数据进行特征提取的有效性。     

面向高维小样本数据的层次子空间ReliefF特征选择算法

高维小样本数据的特征维数远远高于样本数,因为其通常包含大量的冗余特征,ReliefF算法在处理这类数据时存在以下挑战：传统ReliefF算法无法剔除冗余特征,而现有的改进ReliefF算法大多通过启发式地计算特征与特征之间的互信息来剔除冗余特征,不适用于高维数据;通过截取与标记相关性最大的若干特征来进行分类,可能不是最优选择,因其没有考虑不同特征组合对分类性能的影响.为了解决以上问题,提出一种基于层次子空间的ReliefF特征选择算法,将原始特征集划分为具有层次结构的子空间,并利用邻域粗糙集理论来计算低层子空间的局部依赖度,能在高维小样本数据上高效率地批量剔除冗余特征.此外,为了考量不同特征组合对结果的影响,引入“局部领导力”的概念,保留部分子空间中“带队”能力较强的特征,从局部和全局的角度共同给予特征更加客观的评价.在六个微阵列基因数据集上的实验表明,与现有方法相比,提出的方法更高效,而且能保持良好的分类性能.     

FLDA的核化过程

核方法是近年发展起来的一种新的机器学习方法,它可在高维(特征)空间中用线性的方法有效地解决低维(输入)空间中线性不可分问题.采用核方法,在Mika提出的核Fisher判别基础上,给出Fisher判别分析从输入空间变换到特征空间的数学过程(核化过程),并对特征空间中投影向量可由训练样本线性表示问题予以证明.     

基于核最小二乘回归子空间分割的高维小样本数据聚类

针对基于线性表示理论的子空间分割方法没有考虑高维小样本数据的非线性性质,借鉴核理论,提出核最小二乘回归子空间分割方法,使子空间分割方法适合高维小样本数据的非线性性质.经6个基因表达数据集和4个图像数据集上的实验,表明该方法是有效的.     

基于核Fisher判别的复杂储层岩性识别

复杂储层中多种岩性均可作为储层,不同岩性的物性特征差异较大,分岩性解释复杂储层物性是求准物性较为有效的一种方法,但是不同岩性的测井特征相近,常规线性分类方法识别效果不理想,因为复杂储层的岩石识别中非线性分类特征占较大比例。针对这一问题,本文将Fisher判别分析(FDA)做核推广,形成核Fisher判别分析(KFDA),进一步利用Fisher判别中未提取的非线性信息,通过升维获得更多的非线性分类特征,然后再通过降维来提取利于岩性分类的特征。文章通过实验对核Fisher在数据预处理、关键参数的选取等方面进行了详细介绍,并将核Fisher方法与其它分类方法进行比较,验证了核Fisher方法的岩性识别能力,而对于不同岩性间的差异相似关系,造成岩性识别精度低的情况,提出了分级核Fisher判别分析的思路,研究证明利用分级核Fisher判别分析的思路可进一步提高岩性的识别精度。     

基于核Fisher判别的复杂储层岩性识别研究

复杂储层中多种岩性均可作为储层,不同岩性的物性特征差异较大,分岩性解释复杂储层物性是求准物性较为有效的一种方法,但是不同岩性的测井特征相近,常规线性分类方法识别效果不理想,因为复杂储层的岩石识别中非线性分类特征占较大比例。针对这一问题,本文将Fisher判别分析(FDA)做核推广,形成核Fisher判别分析(KFDA),进一步利用Fisher判别中未提取的非线性信息,通过升维获得更多的非线性分类特征,然后再通过降维来提取利于岩性分类的特征。文章通过实验对核Fisher在数据预处理、关键参数的选取等方面进行了详细介绍,并将核Fisher方法与其它分类方法进行比较,验证了核Fisher方法的岩性识别能力,而对于不同岩性间的差异相似关系,造成岩性识别精度低的情况,提出了分级核Fisher判别分析的思路,研究证明利用分级核Fisher判别分析的思路可进一步提高岩性的识别精度。     

去噪空间上的多核学习

回顾了一种多核学习(multiple kernel learning,MKL)方法——lp范数约束的多核Fisher判别分析(lpregu-larized multiple kernel Fisher discriminant analysis,MK-FDA),研究了固定范数和p范数下MKL的性能对比,并针对原始特征空间必然存在噪点的现象,对在特征空间去噪之后的MKL方法的效果进行了探索。在VOC 2007数据集上的实验结果表明,lpMK-FDA无论使用原始核函数或者去噪后核函数的性能都超越了固定范数约束下的对比方法;特征空间的去噪处理能提高单核FDA方法和lpMK-FDA方法的性能;训练得到的核函数的权重与去噪空间中保留的特征数量存在一种正相关性。     

基于核Fisher判别分析的粮虫特征压缩方法

针对粮仓害虫种类多、类别之间相似度比较高的特点,提出基于核Fisher判别分析的粮虫特征压缩方法.利用高斯径向基核函数,对特征选择后的10维原始数字特征进行核Fisher判别分析,即通过非线性变换将样本数据从输入空间映射到高维特征空间,然后在高维特征空间进行特征提取.从粮虫分类效果方面,将KFDA法与FDA法、PCA法和KPCA法3种方法进行了比较分析.应用KFDA法提取的前4个特征,由最近邻分类器对粮仓中常见的9类粮虫进行分类,验证集的识别率为93.33%.结果表明:KFDA法对粮虫特征的非线性比较敏感,在有效降低特征维数的同时,还提高了类别之间的可分性.     

用于人脸识别的张量图优化的Fisher判别分析

最近提出的图优化的Fisher判别分析(Graph-based Fisher Analysis,简称GbFA)具有很强的判别性能,并成功地应用于人脸识别。但GbFA需要将二维的人脸图像矩阵转化为向量,因此容易丢失像点的空间关系。为此,提出用于人脸识别的张量图优化线性判别分析(Tensor Graph-based Fisher Analysis,简称TGbFA)。该算法把二维的人脸图像矩阵看作二维张量数据,并通过GbFA方法迭代求得两个投影矩阵。在Yale和YaleB的人脸库的实验表明,TGbFA算法继承了GbFA的特性,与现有的张量线性判别分析算法相比,TGbFA具有较好的判别性能。     

一种线性局部切空间判别分析算法

为了在保持数据局部几何结构不变的同时使数据分类边界最大化,提出了一种用于分类的线性局部切空间判别分析算法.该算法是改进的流形学习算法的监督版,样本的局部切空间排列矩阵确保样本低维嵌入的局部几何结构不变;基于最大边界准则的数据散度矩阵确保数据分类的类内散度最小和类间散度最大;对上述2个矩阵和进行特征分解,获得平衡的投影向量基,使样本投影后的子空间被优化.对Yale,UMIST与MIT这3个人脸数据库的实验结果表明,与现有多种经典分类方法相比,提出的算法在降维的同时提取了用于人脸识别的更有效特征,识别性能较好,具有较高的判别分析能力.     

基于黎曼流形的轴承故障诊断方法

为解决传统流形学习方法在轴承数据的非欧氏空间中特征提取时的不佳表现,提出引入黎曼流形学习方法.在黎曼流形的框架下,利用原始数据集构造出黎曼流形,并基于此流形提出了黎曼图嵌入特征提取方法,通过对局部结构编码实现初步降维.然后,在低维黎曼流形的基础上融合主成分分析算法(PCA:Principal Components Analysis)和线性判别分析算法(LDA:Linear Discriminant Analysis)设计分类器并对轴承数据进行了聚类.最后,通过在两个轴承数据集上的实验,分析了该方法提取特征的能力.实验结果表明,与现有的故障诊断方法相比,该方法具有较强的故障诊断能力.     

提升KPCA方法特征抽取效率的算法设计

在PCA基础上发展出的KPCA方法能抽取样本的非线性特征分量。然而, 基于KPCA的特征抽取需计算所有训练样本与待抽取特征的样本间的核函数, 因此, 训练集的大小制约着特征抽取的效率。为了提高效率，假设特征空间中变换轴可由一部分训练样本(节点)线性表出，并设计了改进的KPCA算法(IKPCA)。该算法抽取某样本特征时，只需计算该样本与节点间的核函数即可。实验结果显示，IKPCA在对应较好性能的同时，具有明显的效率上的优势。     

基于随机旋转集成的降维方法

对随机旋转集成方法提出了一种针对降维问题的改进,得到了新的降维算法框架进行随机变换降维,可以显著减少降维过程中造成的信息损失.采用随机变换降维后,训练监督学习算法时可以获得更高的准确率和更好的泛化性能.通过在模拟数据上进行的实验,证明了使用多重共线性数据进行回归分析时,与传统降维算法相比,经随机变换降维处理后可以保留更多的信息,获得更小的均方误差.对随机变换降维在手写数字识别数据集上的表现进行了研究,证明了与一般性的降维算法相比,随机变换降维在图像分类问题上可以获得更高的准确率.     

基于PCA-KLFDA的小样本故障数据集降维方法

针对小样本故障数据集降维问题,提出一种基于主元分析(PCA)和核局部费歇尔判别分析相结合的子空间降维方法.该方法首先应用PCA提取数据集中的关键信息并实施降维,然后将该子空间通过高斯核方法映射至高维线性空间,并在高维空间基于局部费歇尔判别分析训练出一个最有辨别力的低维分类特征集.用双跨转子实验台的一组故障特征数据集进行验证,结果表明:该方法能有效应对小样本的降维问题,达到增大不同故障样本集合间距离、使同类故障样本间的类内距离减小的效果,为基于数据驱动途径实现智能故障辨识技术中涉及的小样本故障数据集类别划分问题提供了一种新方法.     

子模式判别型半监督非线性维数减少算法

维数减少是在损失较少特征信息的条件下处理高维图像数据的关键技术,已成为高维数据处理中的热点问题.样本的类内和类间散度判别信息被用于判断当前样本对属于相同类还是不同类,同时考虑未标签样本对算法性能的影响,提出了一种判别型半监督非线性维数减少算法(discriminativesemi-supervised nonlinear dimensionality reduction,DSSNDR),可有效避免奇异性.DSSNDR采用高斯核和多项式核组合得到的混合核,将原始数据以一系列"有用的"特征形式投影到一个较低维的嵌入空间,便于分类,同时能够保持已标签和未标签样本的内部特征,可有效执行半监督学习.引入样本数据的子模式,将DSSNDR推广到子模式特征空间下的非线性方法,简称Sp-DSSNDR,进一步增强了DSSNDR的学习能力,提高分类精度.多个典型数据集上的分类和可视化实验表明,不同类的样本数据的投影在DSSNDR和Sp-DSSNDR构造的特征空间中存在较少的混叠现象,具有更好的可分离性.当维数被减少到较低水平时,本文算法几乎总是取得最好的结果,甚至超过了经典的主成分分析(PCA),核主成分分析(KPCA)和核Fis...     

目标识别中特征空间核矩阵收缩方法

线性分类与非线性分类是模式识别领域的基础性课题．核方法处理非线性分类问题有其独特的优势,核矩阵反映了输入样本在特征空间的位置关系,决定了样本在特征空间的可分性．针对特征空间线性不可分问题,提出了特征空间核矩阵收缩的新概念和新方法．首先定义了特征空间中样本数据的收缩因子以及样本数据相对于各类类心的收缩方法;然后理论推导得到样本数据收缩后的核矩阵,并且证明收缩后的数据可分性能更优．最后的实验从核矩阵的性能度量以及核矩阵的分类性能两个方面验证了收缩后的核矩阵性能比收缩前性能更优．     

基于多标签核判别分析的人脸身份与性别识别方法

为解决多标签线性判别分析(MLDA)方法在非线性维数约简方面的局限性,提出了一种多标签核判别分析(MKDA)方法,并将其用于人脸的身份与性别识别中.该方法的基本思想是通过非线性映射将训练样本从输入空间映射到高维核特征空间中,并在该特征空间中进行基于MLDA的数据降维.在身份和性别识别中,首先采用MKDA方法对人脸图像特征向量进行降维,获取判别特征矢量集;其次,为每幅人脸图像赋予一个表征身份和性别的多标签类别矢量;最后,采用减秩回归模型(RRR)描述判别特征矢量与多标签类别矢量之间的回归关系,并利用该模型进行未知人脸的身份和性别识别.AR人脸数据库上的实验结果表明:在人脸身份和性别识别中,MKDA方法的识别率高于传统核判别分析(KDA)方法.     

泛化的统一切比雪夫多项式核函数

针对分布稀疏、特征不明显的小样本数据回归中的属性冗余问题,基于统一切比雪夫多项式,提出了一种向量形式输入的可变正交多项式核函数——泛化的统一切比雪夫多项式核函数.新的核函数通过利用统一切比雪夫多项式的正交性和可变性扩大了函数的搜索空间,通过调整多项式阶数有效地控制了特征空间维数,从而解决了稀疏数据回归中的属性冗余问题.另外,利用Mercer定理证明了该核函数的有效性.在多组标准数据集和实际工程数据集上对核函数的性能进行了实验对比,结果证明新的核函数预测精度较高,泛化能力较好,在大多数标准数据集上的性能优于其他切比雪夫多项式核函数.     

基于一种自适应核学习的KECA子空间故障特征提取

核属性约简方法对于去除冗余信息,调整数据非线性结构具有独特的优势.针对航空电子设备故障诊断中有效特征提取困难,核属性约简方法中核函数与核参数选择繁琐等问题,提出了一种基于自适应核函数优化学习的核熵元分析（kernel entropy component analysis,KECA）特征提取方法.首先针对一种自适应核函数基于改进的Fisher核矩阵测量准则建立了一种面向多分类任务的核函数优化框架,然后将优化结果与KECA相结合,通过在KECA特征子空间中选择对输入数据Renyi熵估计有较大贡献的核矩阵特征向量来实现故障特征提取.实验结果表明,本文方法不仅提升了分类精度,而且对噪声具有一定的抑制作用,具有良好的泛化性能.      

基于近似梯度算法的Fisher线性判别分析问题的求解研究

Fisher线性判别分析(FLDA,Fisher linear discriminant analysis)是一种经典的线性降维方法,可归结为广义特征值问题的求解,但广义特征值问题的求解的复杂度较高.为了更好地求解FLDA问题,引入了近似梯度下降(PGD,proximal gradient descent)算法,并分析了该算法的收敛性.实验结果表明,相较于求解广义特征值等方法,PGD算法能更高效地求解FLDA问题.