基于流形学习的网络数据流异常检测

将非线性流形学习应用于网络数据流的降维过程,基于局部保持投影(LPP)算法基本思想,提出基于类别信息的监督判别LPP(SDLPP)算法;与传统线性降维算法和传统流形学习算法的结果进行对比,以验证算法的准确性与稳定性;建立基于SDLPP算法的网络数据流异常检测系统实施模型。结果表明:SDLPP算法通过多目标优化,在保证局部保持投影同时实现类间距离最大与类内距离最小,在挖掘低维特征空间嵌入的同时提高了分类效果;非线性的流形学习算法能有效挖掘高维数据中的低维流形,保证了维数约减过程中的非线性结构;SDLPP算法能够生成显式投影映射,泛化性较好,时间复杂度低,更加适合网络数据流实时监测系统,并可应用于实际的网络数据流入侵检测模型。     

高维数据流形的低维嵌入问题研究

Isomap是基于流形理论提出的一种非线性降维方法,用于恢复潜藏于高维空间低维子流形中数据的低维参数。Isomap方法的一个重要前提是假设数据空间与参数空间之间存在等距映射。通过流形学习和对Isomap方法的分析,证明了高维数据空间与参数空间之间存在一般意义下的等距映射,并引用一个基于Isomap的实例说明Isomap算法的有效性。     

对称局部保持的半监督维数约简算法

针对自然界较多图像具有对称的特点以及数据分布大多呈一定的流形结构情况,提出了一种对称局部保持的半监督维数约减(SLPSDR)算法.该算法使用矩阵定义维数约减映射矩阵元素之间的关系,使图像中对称的像素点对应的映射矩阵的值之间的差别最小;同时为了利用无标签训练样本保持数据的流形结构,要求低维空间中每个点的邻域关系与高维空间中的邻域关系相似.在CMU PIE、Extend Yale B、ORL、AR人脸数据库上的实验结果表明,图像数据明显的对称特点使得SLPSDR算法优于其他对比的维数约减算法.     

采用邻域关联性的非监督流形对齐算法

假设对于两个流形上关联性较强的样本点,其邻域点之间也会具有较强的关联性.基于此假设,提出一种新的非监督流形对齐算法,通过学习局部邻域之间的关联性,挖掘不同流形样本点间的关联性;然后,将两个流形样本点投影到共同的低维空间,同时保持所挖掘的关联性.结果表明:与传统的非监督流形对齐算法比较,文中算法能更准确地找出不同流形数据在低维空间的匹配点.     

基于半监督局部保持投影的磨粒图像特征降维

为有效提取磨粒图像的数字化特征,引入局部保持投影算法。针对局部保持投影在磨粒特征降维中的不足,提出一种基于Parzen窗和成对约束的半监督局部保持投影算法(PSS-LPP)。利用Parzen窗估计高维特征空间中样本的密度,然后根据各样本密度自适应调整邻域参数,并且充分利用样本的标签信息和实例约束生成成对约束集,进而指导投影权矩阵的构造,从而实现特征参数的半监督降维。将PSS-LPP应用于磨粒图像的纹理特征降维,研究结果表明:PSS-LPP对邻域参数初值和热核参数不敏感,降维性能比较稳定,磨粒识别精度明显提高。PSS-LPP可以更有效提取磨粒图像的低维特征。     

基于稀疏聚类的无监督特征选择

特征选择是从特征集合中选择相关特征子集,方便数据聚类、分类和检索等.现有的无监督特征选择算法是将高维数据映射到低维空间并计算每个特征的得分,选择排名靠前的特征.提出一种基于稀疏聚类的无监督特征选择算法:首先利用流形学习的特征映射思想将高维空间的数据映射到低维空间中,用样本构造近邻图,通过图的嵌入找到低维空间,降维后的空间能保持原始数据集的流形结构.其次,得到的样本嵌入矩阵表示特征的重要性,是区分特征对每一个聚类簇的贡献大小的指标,利用低维空间对高维空间的拟合,构造一个目标函数.最后,目标函数本质是回归问题,求解回归优化问题常用最小角回归算法,使用L_1范数进行稀疏回归计算每个特征的得分,选出得分靠前的特征.在六个现实数据集上的实验结果表明:该算法在聚类精度和互信息上取得了较好的实验结果,能有效地选出重要特征,在降维方面具有良好性能,优于其他对比算法.     

一种可鉴别的稀疏保局投影算法

为了增强高维数据在低维子空间中的模式识别能力,假设任意2个类别相同的相似样本其稀疏表示也相似,并基于SPP和LPP思想,提出一种可鉴别稀疏保局投影降维新方法 DSLPP.该方法通过稀疏表示学习和保局部投影,使得在投影子空间中不仅能够保持稀疏表示对数据很好的表达能力,而且较好地获取高维数据所蕴含的本质局部流形结构和自然判别信息,从而增强高维数据在子空间中的表示能力和可鉴别能力.在3个典型的人脸数据集Yale,ORL和PIE29上,将所提出方法 DSLPP与PCA,LPP,NPE和SPP进行对比试验.结果表明DSLPP是一种有效的降维方法,能够较好地改善高维数据在低维子空间中的分类效果.     

基于t分布随机邻域嵌入的阿尔茨海默症诊断模型

对大脑皮层厚度数据进行建模从而实现阿尔茨海默症的诊断.在训练样本少,数据复杂且非线性的情况下,相比于BP神经网络和k最近邻等算法,支持向量机算法表现出更优良的特性.针对支持向量机算法受数据高维度的影响,将t分布随机邻域嵌入算法引入到支持向量机模型.t分布随机邻域嵌入算法既能撷取原始高维数据的局部信息,也能揭示全局结构.t分布随机邻域嵌入算法先将这些非线性数据降维到低维空间,支持向量机算法再将这数据映射到新的高维空间,通过寻找最佳分类超平面的方法,使分类效果达到最佳水平.最后将集成学习算法AdaBoost的思想融入模型,可以使模型的分类准确率得到提升,而且变得鲁棒性更强.     

基于等距特征映射算法在人脸识别问题中的数学建模

该文梳理了人脸识别技术的相关研究文献,并以FG-NET人脸数据库为样本库,对随机选取的实验分析对象进行预处理后,建立合理的数学模型.通过等距特征映射(ISOMAP)算法进行非线性降维,将高维空间的数据信息映射到低维空间,再通过特征提取的方法来判别图像的相似度.该算法以多维尺度变换(MDS)为基础,将欧氏距离替换为数据点间的测地线距离,使数据信息在降维后损失最小,实现高维空间的数据信息在低维空间的有效表达,在较大减小计算量的基础上,提高图像识别率.同时,运用MATLAB软件进行编程验证,结果表明,同一个人在不同年龄段的人脸识别率达到了88.89%,不同人在不同年龄段的人脸识别率达到了91.67%.     

一种自适应局部线性嵌入与谱聚类融合的故障诊断方法

针对数据维数高、非线性且从高维观测空间分析数据模式困难的问题,将改进的流形学习算法引入到数据聚类中,提出了一种结合自适应局部线性嵌入和递归调用规范切融合的新方法.采用自适应局部线性嵌入对原始数据进行非线性降维,应用递归调用规范切对低维空间数据进行聚类,通过对3组UCI标准测试数据集的仿真实验表明,新方法能够将高维数据有效地映射到低维本质空间,克服了传统方法对数据集结构的依赖性,从而显著提高了谱聚类算法分类的准确性和稳定性.同时,对于田纳西-伊斯曼过程的数据实验,表明了该方法对故障模式识别的可行性和有效性.     

基于流形学习的离群点检测方法

为了提高高维数据集合离群数据挖掘效率,提出了一种基于流形学习的离群点检测算法。局部线 性嵌入（ locally linear embedding, LLE）算法是流形学习中有效的非线性降维方法,它的优势在于只定义唯一的 参数,即邻域数。根据LLE算法的思想寻找样本数据的内在嵌入分布,并通过邻域数选取和降维后数据点之 间的距离调整,提高了数据集中离群点发现效率,同时利用离群点权值判别式进行权值数据判定,根据权值 的大小标识出数据集中的离群点,仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点。 与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一 条新的途径。     

最大间距准则框架下的多流形局部图嵌入(MLGE/MMC)算法

主要针对局部图嵌入(Locally Graph Embedding,LGE)算法在训练样本偏少时进行特征提取,会产生识别精度不高情况,通过引入多流形思想,结合LGE和最大间距准则(Maximum Marginal Criterion,MMC)算法,提出了一种最新的特征提取算法——最大间距准则框架下的多流形局部图嵌入(Multi-Manifold Locally Graph Embedding Based on Maximum Marginal Criterion,MLGE/MMC)算法.首先,该算法将每幅图像分成多幅小图像,这一幅图像分成的这些小图像在高维空间中就构成一个流形,以此类推,多幅图像就构成了多流形;其次,通过最大化多流形类间距离,同时最小化流形类内距离来寻找最佳投影矩阵,即分别构建多流形类间散度矩阵和类内散度矩阵;最后,在MMC准则框架下构造目标函数,通过拉格朗日乘子法和迭代来解决约束条件下的优化问题.在ORL,Yale及AR人脸库上的实验,验证了所提算法的有效性.     

结合PCA的t-SNE算法的并行化实现方法

为了提高大数据环境下高维非线性数据的处理速度和精确度,提出一种结合主成分分析(PCA)的基于t分布的随机近邻嵌入(t-SNE)算法.首先,通过主成分分析法对原始数据进行预处理,去除噪声点;然后,结合t-SNE算法,构建K最邻近(K-NN)图,以表示高维空间中数据的相似关系;最后,在Spark平台上进行并行化运算,并在BREAST CANCER,MNIST和CIFAR-10数据集上进行实验.结果表明:文中算法完成了高维数据至低维空间的有效映射,提升了算法的效率和精确度,可应用于大规模高维数据的降维.     

基于等距离映射的非线性动态故障检测方法

针对化工过程数据强非线性和动态性的特点,提出了一种基于动态等距离映射(Dynamic Isometric Mapping,DISOMAP)流形学习的非线性过程故障检测方法.该方法首先采用DISOMAP算法提取训练样本的子流形特征,自适应学习近邻点参数,保留了采样数据的流形结构,然后运用线性回归方法得到原空间和降维子流形空间的投影映射,从而将观测数据从原高维空间映射到低维嵌入空间,最后在变换后的低维空间构造统计量T2和SPE进行监控.TE过程的仿真结果表明,所提出的DISOMAP故障检测方法可以比核主元分析(Kernel Principle Component Analysis,KPCA)更为有效地监控过程变化,检测到故障的发生.     

多信息融合的LPP算法

针对原始局部保持投影(LPP:Local Preserving Projection)算法难以准确获取非均匀高维数据的局部流形结构且未利用样本类别信息的缺陷,提出一种多信息融合的局部保持投影算法(MIF-LPP:Multi-Information Fusion Local Preserving Projection)。该算法使用改进后的标准欧氏距离获取样本的近邻和互邻信息,降低了样本点分布不均和不同维度数据量纲差异的影响。通过融合样本的类别信息构造权值矩阵,进而获得数据的低维本质流形。最后,分别在CWRU(Case Western Reserve University)数据集和本实验室轴承数据集上验证该算法的有效性。实验结果表明,MIF-LPP算法的特征提取性能明显优于其他算法,并且对邻域值具有鲁棒性。     

基于自适应邻域参数的拉普拉斯特征映射

提出一种基于自适应邻域参数的拉普拉斯特征映射算法,该算法首先依据采样密度确定每个样本点的自适应邻域参数,然后根据流形弯曲度调整优化邻域参数.实验结果表明,改进后的算法能够取得比拉普拉斯特征映射算法更好的降维效果.     

基于自适应Lasso流形规整的特征提取算法研究

针对原始高维空间数据特征冗余的特征问题,提出了一种自适应Lasso流形规整的特征提取方法.在原始空间中的样本,经过投影后可以保持在原始空间中的近邻结构,投影到低维空间后也可像高维空间中那样相近.通过模型做完特征选择后,以这些被选的特征子集作为输入,在数据集中做了一系列的分类实验.结果表明,该算法可以精准提取高维样本集的低维流形结构,具有较小的尺寸误差递减,特征提取性能较好.     

基于卡方核的正则化线性判别行人再识别算法

针对行人再识别过程中存在获取的训练样本较少,真实样本分布不一定线性可分和算法识别率低的问题,提出基于卡方核的正则化线性判别分析行人再识别算法(KRLDA,kemel regularized linear discriminant analysis)。该算法首先利用核函数将样本从线性不可分的原始空间映射到线性可分的高维特征空间,然后在高维空间中构造描述数据之间邻近关系的散度矩阵,再利用正则化线性判别分析获得高维到低维空间的投影矩阵,使得数据在低维空间能够保持高维空间的可分性,从而提升行人再识别算法的识别率。在VIPeR、iLIDS、CAVIAR和3DPeS数据集上,实验结果表明所提出的算法具有较高识别率。     

非线性流形学习方法的分析与应用

非线性流形学习以保持数据局部结构的方式将高维输入投影到低维空间,发现隐藏在数据中的内在几何结构与规律性,是近年来机器学习与认知科学中一个新的研究热点.文中分析了几种主要的流形学习方法,通过比较给出各方法的优缺点;提出了基于谱分析的非线性降维的统一框架,对于流形学习方法的研究具有重要意义;给出了手写数字和人脸图像序列等降维的实验结果,显示了非线性流形学习在数据约简和可视化方面的有效应用;最后结合作者的研究探索,总结了非线性流形学习需要解决的问题并展望其研究趋势.     

基于流形学习的纤维丛模型研究

针对数据的高维性,维数约简成为了热点的研究方向,各种流形学习算法都试图发现高维数据的内在结构与规律,然而都是基于小邻域的学习,如何将全局和局部的数据学习结合起来是一个尚未解决的问题.纤维丛是微分流形中的重要理论,比如线性空间中每个子空间都可以看成是一个纤维,它们的集合是纤维丛.本文在流形学习基础上引入纤维丛,给出纤维丛模型,并提出基于切丛局部主方向的向量空间降维算法,该算法用k-均值划分数据集并在各块上求主成分,由第一主方向组成的切丛截面,在截面流形上进行利用等度规映射（ISOMAP）降维,最后在模拟数据和人脸数据上进行实验说明了算法的有效性.