基于监督学习的核拉普拉斯特征映射分类方法

提出一种监督学习的核拉普拉斯特征映射方法(supervised kernel Laplacian eigenmap,SKLE),通过非线性核映射将样本数据投影到高维核特征空间,然后将流形结构和样本类别信息进行有效的结合后,提取嵌入在高维数据中的低维流形特征用于分类.实验表明,该方法对新样本具有泛化性,并且能有效提高分类的效能.     

基于改进的广义K-L变换的掌纹识别

提出了一种基于改进的广义K-L变换的掌纹识别方法.在主成分分析思想的基础上,改进后的广义K-L变换把样本的类间信息也加入到算法的分类过程中,相对于广义K-L变换,识别效果得到了提高.将原始图像投影到一个由图像的类间散布矩阵的特征向量所构成较低维的特征子空间中,在这个特征子空间中,用欧式距离来对分属于不同手掌的掌纹图像进行分类.基于不同的特征长度和训练样本数,做了一系列的实验,最佳识别率达99 17%.     

基于SVM的高维不平衡数据集分类算法

由于数据量的不断增长,出现了大量的不平衡高维数据,传统的数据挖掘分类算法在处理这些数据时,易受到样本分布和维数的影响,存在分类性能不佳的问题.提出一种针对不平衡高维数据集的改进支持向量机(Supported Vector Machine,SVM)分类算法,首先通过核函数将数据集映射到特征空间中,再引入改进的核SMOTE(Kernel Synthetic Minority Over-sampling Technique)算法而得到正类样本,使两类样本数目平衡化;然后将维数高的数据集通过稀疏表示的方法投影到低维的空间中,实现降维;最后根据空间的距离关系来确定在输入空间中合成样本的原像,再对得到的平衡样本集通过SVM来分类,通过仿真实验验证了该算法对于高维不平衡数据集有较优的分类性能.     

基于空谱融合与协同表示的高光谱图像分类算法

高光谱图像光谱带间相似度高且存在大量高维非线性样本,传统的基于表示的分类方法无法对同一波段下的不同样本做出有效区分且会造成维数灾难,最终影响分类性能.提出一种空谱融合与协同表示的高光谱分类算法.通过交替学习空间和光谱特征构建具有判别性的特征字典,并用于空间感知协同表示.在分类过程中,计算特征字典与测试样本之间的相关系数...     

基于微簇的两阶段高维数据流聚类算法

提出了一种基于微簇的两阶段高维数据流聚类算法.首先,对新到达的数据进行降维处理,使用改进的线性判别分析方法获得一个局部投影子空间;然后,在子空间内最大化流入数据近邻微簇之间的距离;最终,将流入数据划分到投影空间的微簇中.基于高维数据流的实验结果显示,本算法的分类性能优于其他的数据流聚类算法,并且具有较低的计算复杂度.     

基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

投影自表示无监督极限学习机

无监督极限学习机在投影过程中保持原始高维空间中的稀疏或近邻结构,样本在高维空间中存在冗余信息,原始的数据结构不一定适应于投影后的低维特征空间.为此,结合无监督极限学习机和子空间聚类的自表示学习,提出投影自表示无监督极限学习机模型.该模型是面向聚类的特征提取方法,在投影过程中学习自表示子空间结构,从而使无监督极限学习机提取的特征自适应于聚类任务.在IRIS数据集、 6个基因表达和2个医学影像高维数据集上进行实验,结果表明该模型和算法是有效的.     

基于核Fisher判别分析的粮虫特征压缩方法

针对粮仓害虫种类多、类别之间相似度比较高的特点,提出基于核Fisher判别分析的粮虫特征压缩方法.利用高斯径向基核函数,对特征选择后的10维原始数字特征进行核Fisher判别分析,即通过非线性变换将样本数据从输入空间映射到高维特征空间,然后在高维特征空间进行特征提取.从粮虫分类效果方面,将KFDA法与FDA法、PCA法和KPCA法3种方法进行了比较分析.应用KFDA法提取的前4个特征,由最近邻分类器对粮仓中常见的9类粮虫进行分类,验证集的识别率为93.33%.结果表明:KFDA法对粮虫特征的非线性比较敏感,在有效降低特征维数的同时,还提高了类别之间的可分性.     

基于粗糙集的高维分类型数据子空间聚类算法

现有的优秀的聚类算法大多是处理低维数据的,但是对于高维数据,由于其分布特性与低维情形有很大的差异,这些算法失效.为解决高维分类型数据聚类问题,提出了一种基于粗糙集的高维分类型数据子空间聚类算法,基于粗糙集的上、下近似集的类边界描述,确定了类边界范围,然后采用相容度来调整类边界,聚类的过程采用增长子空间的思想,从低维到高维迭代地搜子空间类簇.最后通过在soybean、zoo数据集上的对比实验,实验结果表明了算法不仅可行,而且精度高.     

免疫进化的投影寻踪模型在文本分类中的应用

投影寻踪是通过寻找最能反映原高维数据的结构或特征的投影方向,把高维数据投影到低维子空间上,从而实现在低维空间上研究分析高维数据的目的.针对文本分类中维数灾难问题,采用投影寻踪模型,将高维的文本数据降到超低维.投影寻踪的关键是构造能够找到最佳投影方向的有效算法,本文根据免疫进化的思想提出了免疫进化的投影寻踪模型,该模型能...     

基于张量罚偏最小二乘的自动图像标注

如何有效地挖掘变量与标签之间的相互关系和处理高维数据是自动图像标注的两个具有挑战性的问题。以往的自动图像标注都是基于向量模式的学习算法,这样一方面产生高维数据,另一方面破坏了图像数据的高阶结构和内在相关性,导致信息丢失。向量模式下的罚偏最小二乘算法(penalized partial least square,PPLS)可以在获取变量和标签相关性的同时,进行维度约简。在PPLS的基础上,提出基于张量罚偏最小二乘算法(tensor-PPLS)。首先构造图像的张量数据形式,然后采用多线性主成分分析(MPCA)进行降维预处理,最后用tensor-PPLS进行图像标注。在图像标注的三个标准数据集上,提出的算法标注结果明显优于传统的基于向量模式的学习算法。     

基于支持向量机的局域线性嵌入算法在图像检索中的应用

SVM算法复杂度与样本维数无关,具有的泛化能力强、分类精度高的特点,而LLE是有效的非线性降维方法,本文利用支持向量机(SVM)算法对局域线性嵌入(LLE)算法进行改进,有效地解决了基于内容的图像检索中的高维特征向量的降维问题,实验表明具有较高的查全率和查准率.     

基于信息熵的商业银行客户画像属性约简研究

客户画像是商业银行近年来的研究热点,从高维复杂的客户数据中筛选出有效属性是客户画像中的关键问题.为解决商业银行客户画像过程中,由于银行客户数据维度较高,难以实现精准画像的问题,在对客户数据进行聚类分析的基础上,结合粗糙集理论和信息熵理论,对商业银行投资客户画像属性进行了约简,并提出了属性约简算法,结果表明,该算法能够对...     

CFSBC： Clustering in High-Dimensional Space Based on Closed Frequent Item Set

Clustering in high-dimensional space is an important domain in data mining. It is the process of discovering groups in a high-dimensional dataset, in such way, that the similarity between the elements of the same cluster is maximum and between different clusters is minimal. Many clustering algorithms are not applicable to high dimensional space for its sparseness and decline properties. Dimensionality reduction is an effective method to solve this problem. The paper proposes a novel clustering algorithm CFSBC based onclosed frequent hemsets derived from association rule mining. which can get the clustering attributes with high efficiency. The algorithm has several advantages. First, it deals effectively with the problem of dimensionality reduction. Second, it is applicable to different kinds of attributes, Third, it is suitable for very large data sets. Experiment shows that the proposed algorithm is effective and efficient     

基于自适应图的降维方法

为了构建能反映高维数据本质结构的高质量图,提出了一种新颖的降维方法———基于自适应图的降维方法( DＲAG: Dimensionality Ｒeduction based on Adaptive Graphs) 。与其他传统的基于图的降维方法相比,提出的DＲAG 避免了传统k 近邻或ε 球准则构图策略中的参数选择问题,考虑了数据的局部信息和噪声,能自适应地构建稀疏的最优图结构,并将其结合在经典的LPP( Locality Preserving Projection) 模型中,学习能有效刻画高维数据本征结构的投影矩阵,从而实现降维的目的。为了评估算法的有效性和可行性,在4 个标准的图像数据库( CMU PIE,Extended YaleB,OＲL 和COIL 20) 分别进行了分类与聚类实验,实验结果表明,所提出的方法在分类识别率和聚类准确率上都优于其他对比方法。     

高维数据流的聚类离群点检测算法研究

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测（CODHD-Stream）算法。该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的 K-means 聚类算法将数据集划分成微聚类,并检测微聚类的离群点。通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度。     

一种双约束稀疏模型图像修复算法

针对图像处理中需要修复大面积缺损区域的问题,提出一种基于双约束稀疏模型的图像修复算法.该方法首先在已知区域内搜索与待填充目标块相似的样本,将每个样本块都视为一个高维向量,则相似的样本在高维空间中都在目标块的邻域内.假设邻域中的样本处于同一流形上,使用局部线性嵌入方法对未知区域进行估计,然后利用稀疏表示模型得到最终结果.实验结果表明,与传统的基于样本块的修复方法相比较,使用该算法修复后的图像纹理和结构信息更加清晰.     

结合PCA的t-SNE算法的并行化实现方法

为了提高大数据环境下高维非线性数据的处理速度和精确度,提出一种结合主成分分析(PCA)的基于t分布的随机近邻嵌入(t-SNE)算法.首先,通过主成分分析法对原始数据进行预处理,去除噪声点;然后,结合t-SNE算法,构建K最邻近(K-NN)图,以表示高维空间中数据的相似关系;最后,在Spark平台上进行并行化运算,并在BREAST CANCER,MNIST和CIFAR-10数据集上进行实验.结果表明:文中算法完成了高维数据至低维空间的有效映射,提升了算法的效率和精确度,可应用于大规模高维数据的降维.     

改进的D-t-SNE滚动轴承故障数据集降维方法

针对传统降维方法难以保持数据集的局部与全局几何结构特征问题,选择测地距离作为度量指标,提出改进t-SNE的故障数据集降维方法D-t-SNE.首先提取消噪振动信号的多域高维故障数据集,在对其进行归一化处理之后,利用GD指标改进后的D-t-SNE算法对高维故障数据集进行降维运算,去除冗余信息,然后通过不同的分类器对低维特征子集进行故障模式辨识.以UCI数据集和双跨转子实验台的模拟故障数据集为实验对象对D-t-SNE算法进行验证,并与SNE和t-SNE算法的各项实现结果进行对比.结果表明,D-t-SNE算法具有通过降低高维故障数据集的维数从而达到降低故障分类难度、提高故障辨识准确率的性能,可为降低旋转机械原始故障特征数据集的规模、降低故障分类的难度与提高故障辨识结果的可视化效果提供理论参考依据.