面向高维小样本数据的层次子空间ReliefF特征选择算法

高维小样本数据的特征维数远远高于样本数,因为其通常包含大量的冗余特征,ReliefF算法在处理这类数据时存在以下挑战：传统ReliefF算法无法剔除冗余特征,而现有的改进ReliefF算法大多通过启发式地计算特征与特征之间的互信息来剔除冗余特征,不适用于高维数据;通过截取与标记相关性最大的若干特征来进行分类,可能不是最优选择,因其没有考虑不同特征组合对分类性能的影响.为了解决以上问题,提出一种基于层次子空间的ReliefF特征选择算法,将原始特征集划分为具有层次结构的子空间,并利用邻域粗糙集理论来计算低层子空间的局部依赖度,能在高维小样本数据上高效率地批量剔除冗余特征.此外,为了考量不同特征组合对结果的影响,引入“局部领导力”的概念,保留部分子空间中“带队”能力较强的特征,从局部和全局的角度共同给予特征更加客观的评价.在六个微阵列基因数据集上的实验表明,与现有方法相比,提出的方法更高效,而且能保持良好的分类性能.     

基于二维最小二乘回归的子空间分割

现实中有很多样本数据是二维的,且多数聚类方法需将二维样本数据向量化,从而导致二维数据的内部几何信息丢失.针对这一问题,提出二维最小二乘回归子空间分割方法直接对二维数据进行聚类,将一维最小二乘回归子空间分割方法推广到二维,使得原始数据的结构信息得以保留.在人脸数据集和哥伦比亚大学图像数据集上进行实验,结果表明该方法是有效的.     

基于Kreǐn空间的两阶段子空间学习

为了解决不定核Fisher判别分析(IKFDA)在处理高维小样本数据时的病态问题,基于Kreǐn空间提出了两阶段的IKFDA学习框架TP-IKFDA;为了解决不定核典型相关分析(IKCCA)在处理高维小样本数据时的过拟合问题,提出了两阶段的IKCCA学习框架TP-IKCCA.通过不定核主成分分析(IKPCA)进行降维处理,减弱高维特征所带来的负面影响;然后,在降维后的特征空间中进行Fisher判别分析(FDA)或典型相关分析(CCA).真实数据集上的试验结果表明,与IKPCA、IKFDA以及IKFDA的改进算法相比,TP-IKFDA的分类精度明显提高;TP-IKCCA相较于现有的IKCCA模型泛化性能得到了进一步改善.因此,在处理高维小样本数据时,TP-IKFDA和TP-IKCCA的实际泛化性能优于现有的不定核子空间学习技术.     

投影相关自适应子空间分割

在构造仿射矩阵时,满足稀疏性就会降低其分组效应,反之,又不利于数据的选择.针对这些问题,提出投影相关自适应子空间分割方法.通过引入迹lasso,自适应地根据样本数据的相关性构造仿射矩阵,同时提取出有利于类别识别的特征.在6个基因表达数据上的实验结果表明,该方法优于现有子空间分割方法.     

基于鉴别主成份分析的基因表达数据特征提取

针对高维小样本数据特征提取问题,通过融合主成份分析(PCA)和线性判别分析(LDA),提出一种鉴别主成份分析方法。通过对PCA主成份进行单个线性判别,选择主要反应类间差异的主成份来构造特征空间。对yeast和NCI基因表达数据的实验结果表明:该方法在降维的同时能获得较好的判别特征,且能避免线性判别分析方法的奇异性。在子空间的聚类识别率相比PCA提高了20%以上,且具有较好的可视化效果,说明了用该方法对高维小样本数据进行特征提取的有效性。     

目标识别中特征空间核矩阵收缩方法

线性分类与非线性分类是模式识别领域的基础性课题．核方法处理非线性分类问题有其独特的优势,核矩阵反映了输入样本在特征空间的位置关系,决定了样本在特征空间的可分性．针对特征空间线性不可分问题,提出了特征空间核矩阵收缩的新概念和新方法．首先定义了特征空间中样本数据的收缩因子以及样本数据相对于各类类心的收缩方法;然后理论推导得到样本数据收缩后的核矩阵,并且证明收缩后的数据可分性能更优．最后的实验从核矩阵的性能度量以及核矩阵的分类性能两个方面验证了收缩后的核矩阵性能比收缩前性能更优．     

子模式判别型半监督非线性维数减少算法

维数减少是在损失较少特征信息的条件下处理高维图像数据的关键技术,已成为高维数据处理中的热点问题.样本的类内和类间散度判别信息被用于判断当前样本对属于相同类还是不同类,同时考虑未标签样本对算法性能的影响,提出了一种判别型半监督非线性维数减少算法(discriminativesemi-supervised nonlinear dimensionality reduction,DSSNDR),可有效避免奇异性.DSSNDR采用高斯核和多项式核组合得到的混合核,将原始数据以一系列"有用的"特征形式投影到一个较低维的嵌入空间,便于分类,同时能够保持已标签和未标签样本的内部特征,可有效执行半监督学习.引入样本数据的子模式,将DSSNDR推广到子模式特征空间下的非线性方法,简称Sp-DSSNDR,进一步增强了DSSNDR的学习能力,提高分类精度.多个典型数据集上的分类和可视化实验表明,不同类的样本数据的投影在DSSNDR和Sp-DSSNDR构造的特征空间中存在较少的混叠现象,具有更好的可分离性.当维数被减少到较低水平时,本文算法几乎总是取得最好的结果,甚至超过了经典的主成分分析(PCA),核主成分分析(KPCA)和核Fis...     

集成非线性统计形状先验的M-S图像分割模型

为克服噪声污染、血管遮挡、光照不均匀、对比度小、个体间差异大等视网膜和视神经细微组织结构医学图像分割中固有的困难,提出了一种集成非线性形状先验的医学图像分割新方法.该方法首先采用非线性的核函数将目标先验形状窄带水平集映射到其核空间,然后在核空间进行主成分分析(PCA),以获取目标形状窄带水平集核空间的基底向量,并据此将目标形状先验知识集成到Mumford-Shah向量值图像分割模型,实现医学图像的分割.不同青光眼病人的视乳头图像分割实验结果表明,该方法能够有效地分割噪声大、对比度小且部分被血管遮挡的各阶段的青光眼病人视乳头图像.     

基于Gauss核函数的快速构造最小超球算法

为提高基于超球的支持向量机算法中样本数据较多时的训练速度,提出一种构造最小超球的并行融合算法.该算法将全部训练数据集依据特定策略分割成若干个子数据集,分别对各个子数据集进行训练,对所得到的各子数据集的支持向量与融合数据进行训练,构造最小超球.仿真结果表明,并行融合算法在保证分类精度的情况下,能够显著减少训练时间,提高效率,且支持向量的数目较少.同时也验证了该文对Gauss核函数分析的正确性.     

基于线性SVM子空间的正面人脸检测研究

通过对二阶段的子空间方法的研究,提出了基于线性SVM子空间的正面人脸检测方法.首先构造线性SVM粗分类滤波器,然后在线性SVM粗分类滤波器分割的子空间内构造高斯核的非线性SVM分类器.检测时.为了加快速度引入了平均脸模板匹配进行粗筛选,然后依次通过线性SVM粗分类滤波器、非线性SVM分类器进行人脸检测.     

特征空间中的边缘检测及样本选择

将子空间分类法拓展到特征空间后，与核主成分分析结合提出了一种边缘检测的方法及其训练样本选择策略。是基于特征空间中的核方法，对图像特征表达建立了统一的模型，可处理非高斯分布的数据。可与经典的边缘检测算子或其他方法相结合，增强边缘检测的效果和稳定性。只需训练一次，便可将边缘特征从一幅与训练图完全不同的测试图中提取出来。实验结果表明，对噪声有很好的鲁棒性，能很好地适应小样本训练，其边缘检测的效果明显比经典算子，主成分分析，非线性主成分分析的效果好。     

基于一种自适应核学习的KECA子空间故障特征提取

核属性约简方法对于去除冗余信息,调整数据非线性结构具有独特的优势.针对航空电子设备故障诊断中有效特征提取困难,核属性约简方法中核函数与核参数选择繁琐等问题,提出了一种基于自适应核函数优化学习的核熵元分析（kernel entropy component analysis,KECA）特征提取方法.首先针对一种自适应核函数基于改进的Fisher核矩阵测量准则建立了一种面向多分类任务的核函数优化框架,然后将优化结果与KECA相结合,通过在KECA特征子空间中选择对输入数据Renyi熵估计有较大贡献的核矩阵特征向量来实现故障特征提取.实验结果表明,本文方法不仅提升了分类精度,而且对噪声具有一定的抑制作用,具有良好的泛化性能.      

改进的核极限学习机定位算法

针对神经网络无线定位方法,存在训练耗时长,定位结果易受噪声干扰的问题,提出了一种改进的核极限学习机无线定位算法。采取在同一位置进行多次测量的方法得到训练数据;把同一位置测得的数据划分为一个样本子空间并提取样本子空间的特征,以样本子空间的特征代替原来的训练数据;利用矩阵近似及矩阵扩展的相关理论改进核极限学习机算法;将处理过的训练数据利用改进的核极限学习机进行训练,得到定位预测模型。仿真结果表明,在相同数据集下,改进的核极限学习机训练用时短、定位速度快;在相同噪声干扰情况下,此算法定位预测误差小。经验证,该算法不但能提高网络的训练速度、定位速度,还能有效地降低噪声的干扰,提高定位精度。     

模式收缩最小二乘回归子空间分割

基因表达数据聚类为肿瘤新类别的发现提供了重要手段。然而,直接对原始数据进行聚类会在一定程度上丢失数据本身隐含的流形结构信息,影响子空间分割方法的聚类效果。为解决这一问题,提出模式收缩最小二乘回归(pattern shrinking least square regression, PSLSR)子空间分割方法。该模型能够同时进行模式收缩和仿射矩阵的学习,并利用交替优化方法进行求解。在6个基因表达数据上的实验结果表明该方法优于现有子空间分割方法。     

改进的子空间盲信噪比估计方法

基于子空间分解的信噪比估计方法广泛的适用于各类调制方式,但是存在低信噪比条件下信号子空间维度计算误差过大,从而导致估计性能下降的问题。通过对有限长度数据样本条件下子空间方法的分析和仿真,确定了信号子空间维度估计不准的原因,并提出一种新的适用于短数据的子空间信噪比估计方法,并分别针对不同的样本长度和信号调制方式进行实验验证。实验结果表明,低信噪比条件下,新方法能将估计误差降低了了0.3~2dB。     

基于核Fisher判别的复杂储层岩性识别研究

复杂储层中多种岩性均可作为储层,不同岩性的物性特征差异较大,分岩性解释复杂储层物性是求准物性较为有效的一种方法,但是不同岩性的测井特征相近,常规线性分类方法识别效果不理想,因为复杂储层的岩石识别中非线性分类特征占较大比例。针对这一问题,本文将Fisher判别分析(FDA)做核推广,形成核Fisher判别分析(KFDA),进一步利用Fisher判别中未提取的非线性信息,通过升维获得更多的非线性分类特征,然后再通过降维来提取利于岩性分类的特征。文章通过实验对核Fisher在数据预处理、关键参数的选取等方面进行了详细介绍,并将核Fisher方法与其它分类方法进行比较,验证了核Fisher方法的岩性识别能力,而对于不同岩性间的差异相似关系,造成岩性识别精度低的情况,提出了分级核Fisher判别分析的思路,研究证明利用分级核Fisher判别分析的思路可进一步提高岩性的识别精度。     

基于优化SVR模型的大跨度样本疲劳寿命预测

针对传统方法在大跨度、小样本情况下的疲劳寿命预测准确率不高的问题,研究基于优化SVR模型的寿命预测方法.根据大跨度样本的特点,提出有效的预处理方法、SVR模型的训练方法及参数优化准则.以LY12CZ(2A12)铝合金疲劳寿命预测为实例,分析了高斯核函数、多项式核函数及多层感知核函数对SVR模型训练误差的影响.结果表明高斯核函数更适用于SVR模型的训练,并通过细菌觅食算法对核参数γ及惩罚因子C进行优化选取,LY12CZ(2A12)铝合金疲劳寿命预测结果验证了该方法的有效性.     

基于图像特征的卷积核初始化方法

针对当前卷积核初始化方法易导致网络不稳定及主成分分析算法对网络结构限制的问题, 提出一种基于图像特征的卷积核初始化方法. 该方法先结合模糊处理技术和边缘处理技术对图像进行采样, 再将采样后的数据随机分组, 使用主成分分析算法提取各组数据的主成分, 初始化卷积核. 将该方法应用于数据集Cifar-10和Corel-1000, 并与Gauss初始化方法和He初始化方法进行对比测试, 实验结果表明, 该方法性能优于其他卷积核初始化方法.