高维数据分类中的特征降维研究

以高维分类为目标,从分类的准确率与模型解释性角度探讨了降维的必要性,分析了特征选择与抽取2类方法特点,并对常用的特征抽取方法,包括主成分分析(PCA)、偏最小二乘(PLS)和非负矩阵分解(NMF)进行了阐述.考虑到约减后的数据缺乏稀疏性与可解释性,提出了基于稀疏正则化的特征抽取模型,为高维特征降维提供了一种新思路.     

高维数据的降维方法研究及其应用

讨论了高维数据的降维方法及应用，采用进制分解的方法将数字图像无损转化为二值图像，从而将原图像的处理转化为对二值图像的处理．从理论上，论证了二值图像的无损性，以此为根据对二值图像进行了相应的分析，包括压缩、图像分析、信息融合等．     

基于全局-局部保持投影的稀疏降维方法

该文提出了一种基于全局-局部结构保持的稀疏投影模型(GLSPP).通过对投影数据进行线性重构来保持数据的全局结构,从而保留投影数据的全局信息.通过约束重构系数矩阵与相似性矩阵的相似性来保持全局保持数据和局部保持投影数据的一致性.同时,对重构系数矩阵和相似性矩阵进行稀疏约束,保留主要信息,以减少冗余信息的干扰.在公开的4个人脸与物体数据集上的实验结果显示:该方法具有较高的分类准确率.     

基于广义矩阵指数的判别局部保持投影方法

【目的】局部保持投影（LPP）是一种经典的非线性数据降维方法。在LPP方法基础上人们提出了判别局部保持投影方法（DLPP）,并取得了良好的效果,但DLPP方法存在小样本问题,针对该问题提出了广义矩阵指数判别局部保持投影（GEDLPP）算法。【方法】基于矩阵函数的性质,使用广义矩阵指数函数来重构DLPP,即为GEDLPP算法。【结果】提出的算法有两个优点：一是解决了DLPP方法的小样本问题;二是GEDLPP所隐含的非线性映射拉伸了不同类别样本之间的距离,从而提高了模式分类的能力。【结论】在COIL-20数据库,Yale,ExtendedYaleB和CMU-PIE人脸数据集上的实验结果表明：与最近提出的解决DLPP小样本问题的改进方法相比,GEDLPP的识别率优于其他方法。     

投影相关自适应子空间分割

在构造仿射矩阵时,满足稀疏性就会降低其分组效应,反之,又不利于数据的选择.针对这些问题,提出投影相关自适应子空间分割方法.通过引入迹lasso,自适应地根据样本数据的相关性构造仿射矩阵,同时提取出有利于类别识别的特征.在6个基因表达数据上的实验结果表明,该方法优于现有子空间分割方法.     

判别正则化谱回归

谱回归(SR)算法是一种正则化的降维方法,通过学习获得回归框架下的嵌入函数,使其避免了稠密矩阵分解的问题.但是在谱回归的构图中,更加关注于类内信息,而忽视了很重要的类间信息.为此,提出一种新的降维算法——判别正则化谱回归(DRSR).它将数据集的判别信息和流行结构同时嵌入到正则项的构造中,期望使输出结果即保持同类样本间的内在邻近关系,同时又能将不同类的近邻样本尽可能分得开.最后,分析了这种算法的优缺点,并在两个常用的数据集(Yale和wine)上验证了算法的可行性及有效性.     

基于L2范数的局部保持投影算法

针对传统局部保持投影算法对外点敏感的问题,提出了一种基于L2范数的局部保持投影算法。该算法通过采用L2范数定义目标函数并重新定义了权值矩阵,多次迭代计算投影矩阵得到局部最小值,直至达到收敛条件,进而获得最终的最优投影矩阵;通过利用最优投影矩阵将原始数据投影到最优的投影子空间,降低高维数据维度,同时能够保持原有数据特征。合成数据实验结果表明,与传统局部保持投影算法相比,所提基于L2范数的局部保持投影算法能够有效地降低数据维度,改善了算法对外点的敏感问题,提高了算法的鲁棒性。人脸识别实验结果表明,该算法能够取得较高且较为稳定的人脸识别率,人脸识别率可达80%。     

稀疏约束的嵌入式模糊均值聚类算法

降维作为聚类问题的关键预处理步骤被用来抽取高维数据潜在的低维子空间结构.面对高维数据聚类,传统的策略是首先采用降维技术提取高维数据嵌入在低维空间的潜在数据结构,然后利用一个聚类算法完成数据聚类.然而,这种两阶段优化策略的聚类性能往往不如直接优化统一的目标函数.因此,在模糊聚类算法的基础上,本文提出了一种稀疏约束的嵌入式模糊均值聚类算法(EFSC),该方法结合线性正交投影技术在对高维数据降维的同时完成聚类.EFSC模型对模糊矩阵施加了稀疏约束来提升聚类性能.理论分析与实验结果证明了本文提出的EFSC算法的有效性.     

基于高维数据的聚类研究综述

随着互联网的发展,数据变得越来越复杂,数据维度也向多维化发展,实际应用中,高维数据愈加普遍,在高维数据中发现数据之间的关系也越来越重要。论文介绍了处理高维数据的应用背景及研究意义,研究分析了当前处理高维数据的聚类分析和常见降维方法的研究现状以及存在的问题,并总结了主成分分析、线性判别式以及局部线性嵌入三种主要降维算法的思想、相应算法的发展现状、存在的缺点,最后指出在高维数据聚类分析方面还需要注意的几个问题及今后的发展方向。     

采用规范化局部保持投影的轴承故障诊断方法

针对轴承故障检测中特征融合导致的维度高、相关性强等问题,提出一种采用规范化局部保持投影算法(LPP)的轴承故障诊断(En-LPP)方法。首先,采用熵规范化的方法将相似度矩阵结合到传统LPP算法的优化函数中,与投影向量一并求解,得到一种规范化LPP降维算法;然后对原始轴承振动信号进行小波变换和经验模式分解得到10条信号分量,每个分量通过计算平均值、均方根等,提取12维统计特征,经归一化后生成特征向量;然后将特征向量输入到规范化LPP降维算法中进行迭代共同求解,得到满足终止条件的相似度矩阵和投影向量;最后利用降维后的特征集训练极限学习机模型确定轴承最终工作状态以实现故障检测。实验结果表明:与传统LPP方法以及其他降维方法相比,所提出的En-LPP方法对于轴承故障诊断的性能更好;在小波变换72维特征集合以及经验模式分解48维特征集合下的分类精度平均提升了7%以上;在4种不同分类器组合下的分类精度平均提升了17%以上;较好的降维特征区分能力使得En-LPP方法的故障诊断性能在不同条件组合下均具有很好的鲁棒性。     

基于自适应图的降维方法

为了构建能反映高维数据本质结构的高质量图,提出了一种新颖的降维方法———基于自适应图的降维方法( DＲAG: Dimensionality Ｒeduction based on Adaptive Graphs) 。与其他传统的基于图的降维方法相比,提出的DＲAG 避免了传统k 近邻或ε 球准则构图策略中的参数选择问题,考虑了数据的局部信息和噪声,能自适应地构建稀疏的最优图结构,并将其结合在经典的LPP( Locality Preserving Projection) 模型中,学习能有效刻画高维数据本征结构的投影矩阵,从而实现降维的目的。为了评估算法的有效性和可行性,在4 个标准的图像数据库( CMU PIE,Extended YaleB,OＲL 和COIL 20) 分别进行了分类与聚类实验,实验结果表明,所提出的方法在分类识别率和聚类准确率上都优于其他对比方法。     

基于张量的稀疏保持投影降维方法

传统的基于向量的降维算法需要将图像数据进行向量化处理。然而,向量表示难以考虑数据各维度上的变化,容易丢失有效的结构信息和判别信息。为此,从数据的张量表示出发,将新近提出的稀疏保持投影方法（sparsity preserving projections,SPP）推广到张量空间中,提出了基于张量的稀疏保持投影降维方法。该方法可直接将图像数据作为张量目标进行运算,保留了数据的完整性以及数据的原始结构和判别信息。降维的同时保持了原始张量空间中数据样本的稀疏重构信息。人脸数据库的识别实验结果表明,基于张量的稀疏保持投影降维方法能有效地提高识别率。     

改进的小波分解、Fisher脸及几何特征相结合的人脸识别方法

 数据降维是提高人脸识别效率的关键.对基于gabor小波变换和LDA降维做了改进,经gabor小波降维后,对数据分别沿着2个不同的方向做处理,方向一：继续按LDA方法对数据分类;方向二：进行PCA降维,再进行一些特征向量的提取,提取4个眼角,鼻尖和2个嘴角的数据,这样又降低了数据的维数.然后根据LDA分类后的数据和提取的几何特征点数据在识别过程中所起的不同作用,分配不同的权值,得出人脸识别的结果.经实验对比,该文的方法有更高的识别率.     

结合PCA的t-SNE算法的并行化实现方法

为了提高大数据环境下高维非线性数据的处理速度和精确度,提出一种结合主成分分析(PCA)的基于t分布的随机近邻嵌入(t-SNE)算法.首先,通过主成分分析法对原始数据进行预处理,去除噪声点;然后,结合t-SNE算法,构建K最邻近(K-NN)图,以表示高维空间中数据的相似关系;最后,在Spark平台上进行并行化运算,并在BREAST CANCER,MNIST和CIFAR-10数据集上进行实验.结果表明:文中算法完成了高维数据至低维空间的有效映射,提升了算法的效率和精确度,可应用于大规模高维数据的降维.     

基于局部保持投影和RBF神经网络的DOA估计

提出了一种有效的降维构建方法改善来波到达角（DOA）估计的性能。该方法利用局部保持投影（LPP）对DOA估计用的神经网络的训练样本进行降维,以降低神经网络的复杂度,加快神经网络的训练过程。与常用的协方差矩阵上三角特征相比,在不损失有效方位信息的基础上,可以使特征维数极大地降低。数值实验表明,基于局部保持投影和神经网络的方法具有良好的估计精度和效率,同时对噪声也有较强的适应能力,能够很好地满足波达方向估计实时性的要求。     

用于人脸识别的半监督优化局部保持投影

未充分利用大量未标注样本的非监督信息是监督的、优化的局部保持投影(简称SOLPP)在人脸识别应用中的主要问题。为此提出一种用于人脸识别的半监督的优化的局部保持投影(SSOLPP)。该算法在SOLPP的基础上,通过加权平衡参数融合了未监督的主成分析(PCA)降维算法,使得投影后的数据保持了高维数据中的未标注样本的、全局的散布结构信息和监督的优化局部结构信息。在YaleB和AR人脸数据集上的实验验证了所提算法的有效性。     

基于L曲线方法的Lasso正则化参数选择

大数据背景下,基于罚函数的正则化方法是高维数据变量选择的重要方法.Lasso估计是常用的变量选择方法,而Lasso正则化参数的取值直接影响选择模型的性能,是正则化方法成败的关键.针对Lasso估计,提出一种新的L曲线(LC)准则选择正则化参数.数值模拟和实际应用表明:相比CV,GCV,BIC等准则,LC准则能够以较高的...     

基于伪柯西类核函数的主成分降维方法

构造了伪柯西类核函数并给出了相应的理论证明.利用伪柯西类核函数对4个癌症基因表达数据集进行降维,然后利用支持向量机、K近邻和朴素贝叶斯进行分类预测.实验结果表明,与高斯核、多项式核、双曲正切核降维以及全变量情形相比,在多数情况下,基于伪柯西类核函数进行的维度约减,可使得目前主流机器学习方法的分类精度达到最优.     

基于概率协作表示的几何保持图嵌入

为了充分获取高维数据的几何结构特征、增强高维数据在子空间中的识别能力,基于概率协作表示拥有潜在判别信息和数据几何信息的能力,提出一种基于概率协作表示的几何保持图嵌入(PCRGPGE)的降维新方法.在新方法中,相似高维数据样本的概率协作表示相似,且其概率协作表示的重构在低维子空间中也保持相似,从而使得高维数据所蕴含的低维...     

一种高维航迹融合协方差交集算法降维实现方法

在互相关性未知的分布式融合系统中,协方差交集算法是一种有效的融合算法,但其在融合高维航迹时存在计算量大、精度低的问题,为此对高维航迹进行了降维处理,把高维航迹的融合变为多组二维航迹的融合,从而得到了一种降维的协方差交集算法(Dimensionality Reduction Intersection Algorithm,DRCI)。理论分析表明该算法能有效降低运算量,仿真实验结果表明,该算法的精度高于协方差交集算法(Covariance Intersection,CI),与Kalman融合算法处于同一水平。