有监督的核局部线性嵌入算法

核局部线性嵌入法是一个优异的流形学习方法,对于非线性高维数据的降维问题,具有较好的效果。但是算法本身是一个无监督学习方法,对于模式分类等有监督学习问题效果不是很好。通过分析监督学习问题的机理,提出了一种有监督的核函数局部线性嵌入算法,数值实验证明算法对于有监督学习问题,具有较好的效果。     

一种基于流形正则化的半监督人脸识别方法

在基于流形正则化的框架下提出了一种半监督学习算法(MLapRLS)并将其用于人脸识别.首先构建所有样本的最近邻图来估计数据空间的几何结构,并对多变量线性回归的目标函数增加该流形正则化项,得到针对多类问题的MLapRLS.该方法能充分利用少量有标签样本和大量易于获取的无标签样本来帮助学习以提取有效特征.在Extended YaleB和CMU PIE人脸数据库上的实验结果证明了该方法的有效性.     

一种最大化样本可分性半监督Boosting算法

针对数据实际分布与假设不匹配时半监督学习算法难以改善分类器性能的问题,该文提出一种最大化样本可分性半监督Boosting算法,通过引入"高密度区域局部散度最小、样本空间全局散度最大"准则来学习未标注的样本。该准则使用两种半监督假设(聚类假设和流形假设),减少了因半监督假设与数据不匹配造成的准确率下降问题。实验结果表明,该文算法有效提高了Boosting算法在符合聚类假设数据集和符合流形假设数据集上的准确性,提高了分类器噪声数据的稳定性。     

基于监督学习的核拉普拉斯特征映射分类方法

提出一种监督学习的核拉普拉斯特征映射方法(supervised kernel Laplacian eigenmap,SKLE),通过非线性核映射将样本数据投影到高维核特征空间,然后将流形结构和样本类别信息进行有效的结合后,提取嵌入在高维数据中的低维流形特征用于分类.实验表明,该方法对新样本具有泛化性,并且能有效提高分类的效能.     

基于半监督流形学习的无线传感器网络定位方法及其应用

提出了一种基于流形半监督学习的移动节点定位算法.该算法利用基于流形学习的半监督方法,通过一定量的有标签样本和无标签样本,获取隐含在节点接收信号强度信息中的流形结构,直接建立节点物理位置与接收信号强度之间的映射关系.算法不需要使用现有的理论或经验信号传播模型,避免了模型不准确带来的定位误差,而且允许网络中存在大量无标签样本,降低了数据采集难度,提高了算法实用性.冶金工业现场的实际应用结果表明,相对RADAR算法,本文算法具有较高的定位精度.     

半监督稀疏鉴别核局部线性嵌入的非线性过程故障检测

复杂过程往往受到运行状态复杂、工作条件恶劣等因素影响,过程数据具有很强的非线性、随机性和流形结构.近年来,核局部线性嵌入(kernel locally linear embedding,KLLE)已经成功应用于复杂过程故障检测.然而KLLE是一种无监督流形学习算法,能够保持样本的局部几何信息,忽视了总体数据样本集全局/非局部鉴别信息.针对上述问题,本文提出一种新的半监督稀疏鉴别核局部线性嵌入(semi-supervised sparse discriminantKLLE,SSDKLLE)算法并用于非线性工业过程故障检测.本文主要贡献如下:(1)把半监督学习与Fisher鉴别分析(fisher discriminant analysis,FDA)引入到KLLE,有效地利用了总体数据集几何鉴别信息,提高了算法对不同类别数据的分离性;(2)基于稀疏表示通过重构优化方法对信号自适应稀疏表达的优点,利用稀疏表示自适应选择最近邻样本以及数目,提高算法鲁棒性和局部保持性能;(3)引入局部邻域处理以及核技巧策略降低过程工况数据变化对监测算法的影响,提高非线性多工况过程监测方法的性能.基于UCI数据和TE平台的仿真实验结果验证了所提算法的有效性.     

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.     

基于主动学习的有监督在线多核学习算法

为了提高大规模数据的分类性能,提出一种基于主动学习的有监督在线多核学习算法SOMK_AL(Supervised online multiple kernel learning algorithm based active learning).首先,采用主动学习的方法缩减数据规模.通过训练生成两个分类器,对读入数据xt进行预测,将两个分类器预测类别不一致的数据作为信息含量高的有标记数据,参与在线学习过程中的核更新;接着,在核集成过程中,通过随机抽样的方法构造核函数集的子集,仅仅在子集中实现核更新,缩减核更新的计算规模.最后,在大规模数据的基准数据集上进行实验,对提出的算法的有效性进行评估,结果表明SOMK_AL能较好地提高数据的分类性能.     

基于流形正则化判别的因子分解

通过对非负矩阵分解(non-negative matrix factorization,NMF)和因子分解(concept factorization,CF)的分析,针对它们无法核化或忽略数据几何结构和判别信息的问题,提出了基于流形正则化判别的因子分解算法(manifold regularized-based discriminant concept factorization,MRCF).该算法用CF算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构;利用样本的标签信息,进行监督学习,给出算法多步更新规则,理论上证明了MRCF算法的收敛性.在人脸数据库ORL、图像库COIL20和手写体数据库USPS上的仿真结果表明,相对于NMF、CF及其一些改进算法,MRCF均具有更高的聚类精度.     

基于增强多流形学习的监控视频追踪算法

提出了一种多流形局部线性嵌入的流形学习算法,为每个类的流形学习过程设计了一种监督的近邻点选择方法,将流形-流形距离作为度量指标,搜索最优的低维空间.在视频追踪算法中对外部数据库进行图像训练预处理,为人脸检测建立级联分类器,利用均值粒子滤波器结合跟踪校正策略对人脸图像实时跟踪,采用多流形训练的结果从视频流的人脸集中检测出追踪的目标人脸.仿真实验结果表明本算法对不同的数据集均获得了较高的检测率与较高的计算效率.     

基于局部约束字典学习的非线性降维人脸识别

针对现有的非线性降维(NLDR)算法复杂度高而不能很好地处理现实世界大规模数据集的问题,提出了基于局部约束字典学习的非线性降维(LCDL-NLDR)方法。首先通过一些潜在的标志点重构极小的内在流形,并将训练数据和未知数据自然地嵌入到内部流形中;然后利用局部约束字典学习(LCDL)算法在非线性流形中学习由标志点组成的紧密原子集;最后利用最近邻分类器完成人脸的识别。在扩展的YaleB及CMU PIE两大人脸数据库上的实验验证了所提方法的有效性及鲁棒性,通过与几种先进的字典学习算法比较表明,所提算法提高了嵌入质量,取得了更高的识别率,同时也大大地降低了NLDR算法的复杂度。     

利用增量式非线性流形学习的状态监测方法

针对传统流形学习方法难以处理大批量设备运行数据的特点,提出了一种采用增量式流形学习方法的机械设备状态监测方法.该方法首先利用局部切空间排列算法对训练样本集进行非线性维数约简,得到初始的低维流形结构,然后通过增量式学习机制对新增的时序样本点进行动态聚类.通过对压缩机喘振试验数据及滚动轴承故障数据的分析表明,该方法的计算复杂度低,可以有效地识别出隐藏在高维特征集中的非线性故障特征,因此具有良好的工程应用前景.     

基于Kohonen神经网络的遥感影像监督分类

作为一种自组织网络,Kohonen神经网络在遥感影像聚类中得到了广泛的应用.但Kohonen算法具有初始权值随机化、学习率和邻域难以确定等缺陷,并且作为一种聚类算法,难以直接进行监督分类.对Kohonen非监督学习算法进行改进,用最大最小距离法确定初始权值,利用权值误差作为网络训练收敛条件,并将Kohonen算法与奖惩...     

一种基于Seeds集和成对约束的主动半监督聚类算法

针对半监督聚类算法中监督信息使用不充分,监督信息中信息含有量低的问题,提出一种结合主动学习的半监督聚类算法.首先结合使用数据的类别标记和成对约束信息,指导Kmeans聚类过程,设计出一种基于Seeds集和成对约束的半监督聚类算法SC-Kmeans;其次将主动学习算法引入到SC-Kmeans中,以尽量小的代价选取信息含有量更高的监督信息,提高SC-Kmeans算法的聚类精度;最后在UCI标准数据集上进行仿真实验.实验结果表明,该算法取得了较好的聚类效果,有效提高了聚类准确率.     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

多邻域保持嵌入的人脸识别方法

现有流形学习算法在学习人脸数据时,假设所有数据点位于单一低维嵌入流形之上,当数据点实际分布在不同的流形上时,单流形假设就会影响数据真实空间结构。为此提出一种基于多邻域保持嵌入(multiple neighborhood preserving embedding,M-NPE)的学习算法来发现不同类别数据在不同维度的低维嵌入空间中分布的多流形结构。首先,单独学习不同类别数据的流形,得到反映其本质特征的流形;再通过遗传算法搜索每个流形的最优维数;最后依据最小重构误差分类器对样本分类。在Extended Yale B和CMU PIE这2个大型人脸库上实验结果验证了该算法的有效性。     

基于半监督的模糊C-均值聚类算法

通过将半监督学习的思想引入到模糊C-均值聚类方法中,提出一种基于半监督的模糊C-均值聚类算法,有效解决了模糊C-均值聚类算法随机选取初始聚类中心导致聚类结果局部收敛的问题,能客观获取最佳聚类数目和初始聚类中心.实验结果表明,与传统模糊C-均值聚类算法相比,基于半监督的模糊C-均值算法在一定程度上减少了迭代次数,降低了对初始聚类中心的依赖性.     

一种新的基于自组织映射的流形学习算法

针对自组织映射(Self-Organizing Map,SOM)算法在进行流形学习时容易陷入局部极值和产生"拓扑缺陷"问题的原因,提出了一种新的基于SOM的流形学习算法:TO-SOM(Training Orderly-SOM).根据流形的局部欧氏性,TO-SOM算法从一个局部线性或近似线性的数据子集出发,按照数据的内在流形结构对其进行有序训练,可以避免局部极值、克服"拓扑缺陷".根据SOM算法的鲁棒性,TO-SOM算法在成功学习数据内在流形结构的同时,对邻域大小参数和噪声也不像ISOMAP和LLE等现有流形学习算法那样敏感,从而更容易得到实际应用.     

一种基于流形的蚁群聚类算法

在介绍了基于信息熵的蚁群聚类算法以及流形学习的方法的基础上,将基于动态切空间排列的流形学习方法与该蚁群聚类算法相结合,给出了一种聚类算法的新思路,并在城市规划布局问题中做了仿真实验,提高了算法的收敛速度。