基于多模态生成模型的半监督学习

随着进入大数据时代,"标记数据少,而未标记数据多"的现象越来越普遍.半监督学习是充分利用样本中"廉价"的未标记样本,让学习器不依赖外界交互、自动地利用未标记样本提升学习性能.通过构建多模态概率生成模型对数据进行建模,然后分析该模型上的监督学习过程和非监督学习过程,最后结合两种学习过程实现半监督学习.通过在MNIST数据...     

一种基于多学习器标记的半监督SVM学习方法

传统的支撑向量机是一种有监督学习方法,为了提高其泛化能力,提出了一种新的基于多学习器标记的半监督SVM学习方法。该方法将训练集分为有标记样本和无标记样本两个集合,通过对无标记样本进行分别标记,不断修正有标记样本集规模,从而提高SVM的泛化性能。在中文电子邮件过滤数据集上的实验结果证明了该方法的可行性和有效性。     

基于Tri-training MPLS的半监督软测量模型

随着污水处理过程日趋复杂,易测量变量和难测量变量的比例严重失衡,传统的监督性软测量建模方法已经无法满足需求.针对这一问题,提出了一种新的半监督学习的软测量模型?Tri-training MPLS模型.首先将标记数据均分为相互独立的3个部分,并由这3个相互独立的标记样本子集选择置信度高的未标记样本训练模型,提高模型的预测...     

基于数据模糊性的PU学习研究

PU学习是指从正例样本和无标记样本中训练分类器的一种学习方法.针对传统PU学习中所含初始正例过少,难以有效地从无标记样本中选出可靠负例,且分类过程易受噪声点影响等问题.本文提出了一种基于数据模糊性来提取无标记样本中有效信息的PU学习方法:先对正例无标记样本集进行半监督聚类,选出靠近正例样本的低模糊度数据来扩充初始正例集,并选择远离正例样本的低模糊度数据作为可靠负例;再剪辑掉无标记样本中高模糊度数据;最后在扩充后的正例样本集和可靠负例集上训练分类器,对初始无标记样本集进行分类.在标准数据集上的对比实验证实了提出算法的有效性.     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

半监督多标记学习的基因功能分析

传统的机器学习主要解决单标记学习,即一个样本仅有一个标记．在生物信息学中,一个基因通常至少具有一个功能,即至少具有一个标记,与传统学习方法相比,多标记学习能更有效地识别生物相关基因组的功能．目前的研究主要集中在监督多标记学习算法．然而,研究半监督多标记学习算法,从已标记和未标记的基因表达数据中学习,仍然是未解决问题．提出一种有效的基因功能分析的半监督多标记学习算法SML_SVM首先,SML_SVM根据PT4方法,将半监督多标记学习问题转化为半监督单标记学习问题,然后根据最大后验概率原则（MAP）和K近邻方法估计未标记样本的标记,最后,用SVM求解单标记学习问题．在yeast基因数据和genbase蛋白质数据上的实验表明,SML_SVM性能比基于PT4方法的MLSVM和自训练MLSVM更优．     

基于半监督学习的最大间距准则人脸识别

针对人脸识别中不能同时利用标记样本和无标记样本的问题,提出了一种具有半监督学习的最大间距准则人脸特征提取方法.算法把无监督判别投影的局部和非局部散度矩阵引入到最大间距准则方法中.在ORL和Yale人脸库上的实验结果表明,本方法不但充分利用了有判别信息的标记样本和大量无标记样本,而且更好地发挥了最大间距准则算法的优点,有效地提高了人脸识别率.     

基于半监督阶梯网络的肝脏CT 影像分割

针对医学影像数据中标记样本较少且人工标记成本高的问题, 提出一种基于半监督阶梯网络的肝脏CT(Computed Tomography)影像分割模型。首先, 利用超像素分割对数据进行预处理减少数据量, 并以像素点为中心提取子图像(patch)放入半监督模型进行训练。最后, 利用训练模型进行肝脏分割。实验结果表明, 该模型利用少量的标记图片得到了与监督学习相近的结果。     

基于一种多分类半监督学习算法 的驾驶风格分类模型

基于驾驶模拟平台设计实验方案,同步采集驾驶员的驾驶操作信息和车辆状态信息,选取6个表征驾驶风格的特征参数,采用主成分分析(Principal Component Analysis,PCA)算法对多元特征参数进行特征提取,将前3个主成分作为驾驶风格识别模型的特征输入.利用K-means聚类完成样本标记工作.基于有监督支持向量机(Support Vector Machine,SVM)与多分类半监督学习算法(i MLCU)的原理,分别建立SVM与i MLCU驾驶风格识别模型,通过调节标记样本与未标记样本比例,对比使用不同样本比例训练的SVM和i MLCU模型的驾驶风格识别准确率.结果表明:相比于SVM,i MLCU表现出了更优异的驾驶风格识别能力,由此可知半监督i MLCU模型可以利用未标记样本提高模型对驾驶风格的识别能力.     

一种改进的协同训练算法:Compatible Co-training

半监督学习是机器学习近年来的热点研究方向,而协同训练(Co-training)则是半监督学习中的重要范式,它利用双视图训练两个分类器来互相标记样本以扩大训练集,以此借助未标记样本提升学习性能.在实际应用中,视图通常会受到属性退化和噪声的影响而变得不充分(即视图不能提供足够的信息来正确预测样本的标记).在不充分视图下,两个视图上的最优分类器变得不再兼容,一个视图中的分类器标记的样本可能不利于另一个视图学得最优分类器.针对这一问题,提出一种改进的协同训练算法Compatible Co-training,它记录学习过程中每个未标记样本被赋予的标记,通过比较更新后的分类器对样本预测的标记与其初始标记,动态地删除标记不一致的样本,从而除去不利于学得最优分类器的样本.实验结果显示出Compatible Co-training比协同训练具有更好的泛化能力和更快的收敛速度.     

感应电机最大效率控制时损耗模型研究

针对半监督学习方法存在的学习速度缓慢、不确定性递增等问题,提出一种基于极端学习机的半监督学习方法.该方法将极端学习机从监督学习模式扩展到半监督学习模式,以输出阈值向量控制标记样本的扩充程度,利用"换位"策略评估扩充标记样本中不确定性的影响.仿真结果表明,所提方法能够显著提高半监督学习的速度并有效减小对标记样本的依赖程度.     

联合空谱信息的高光谱影像半监督ELM分类

针对高光谱影像处理应用中,标记样本往往数量较小且质量不均而未标记样本大量存在的问题,结合半监督学习方法,提出一种面向高光谱影像分类的半监督极限学习机分类算法.首先根据图理论,联合高光谱影像空间光谱信息,对标记和未标记样本共同构建无向加权图;然后,考虑平滑性约束和结构最小化原则,构造分类目标函数;最后,利用核方法求解最优参数,进而实现高光谱影像的半监督分类.采用该方法进行分类对比实验,结果表明:该方法能够有效利用未标记样本信息,提高小样本下的高光谱影像分类精度.     

基于模拟退火半监督学习的信用预测研究

金融机构结合消费者和商业信息来为企业进行信用打分.我国的企业特别是小微企业信用信息少,造成了只有少量企业拥有信用信息,而大量企业没有信用信息的局面.半监督支持向量机可以利用标记数据和未标记数据进行学习,同时可以克服信用数据类别不均衡和样本信息不足等问题.由于半监督支持向量机的参数对算法效果有较大影响,实际参数选取往往根据经验所得.为此提出了一种利用模拟退火(SA)优化基于确定性退火半监督支持向量机(DAS3VM)参数的SAS3VM算法.该算法在少量有标记信用数据的基础上,利用大量无标记信用数据辅助学习,使用模拟退火寻找最优参数.最后在两组企业信用数据集和三组个人信用数据集上进行对比实验,结果表明,半监督学习方法(DAS3VM和SAS3VM)优于监督学习方法,SAS3VM在准确率上比DAS3VM最大提升了13.108%.     

半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

基于半监督优化分类的入侵检测方法研究

为解决入侵检测训练集（通常包含大量无标记样本和少量已标记样本）,在传统半监督支持向量机(S3VM)上确定最优分类决策面,提出一种优化的多分类决策S3VM方法（MLL_S3VM）。该方法结合启发式搜索和聚类方法筛选出差异性较大的分类决策面,采用距离向量法对未标记样本进行标记。实验结果表明,在入侵检测中,该算法明显提高了模型预测精确度。     

基于改进GAN算法的电机轴承故障诊断方法

提出一种基于改进GAN(生成对抗网络)的滚动轴承故障诊断方法,以振动信号作为主要依据,结合连续小波变换处理非平稳信号的能力和半监督生成对抗网络(semi-supervised generation adversarial networks,SSGAN)处理和识别图像的功能,在半监督生成对抗网络的基础上引入条件模型并对损失函数进行优化,指导生成器和判别器的训练.首次将改进GAN算法应用于故障诊断领域并利用其生成模型和半监督学习能力分别解决了样本数据不足和样本标记问题.实验表明,连续小波变换与改进GAN 结合的故障诊断方法与其他主流诊断方法相比能达到较高准确率.     

基于改进主动学习和自训练的联合算法

针对主动学习面向大型数据集人工标记成本过高和半监督自训练算法中存在误标记点影响的问题,提出了一种主动学习与半监督自训练交替迭代训练的联合算法．算法在训练过程中奇数轮次采用主动学习算法,偶数轮次采用自训练算法,通过2种算法的交替迭代训练以弥补彼此不足．自训练算法对无标记样本的预测减轻了主动学习标记样本的负担,同时主动学习标记易变成噪声的样本,减轻了自训练算法训练过程中对样本的标记错误．提出了一种基于密度峰值聚类和隶属度的改进主动学习算法:将初始无标记样本聚类成簇,根据隶属度差值在每个簇内选取部分样本做人工标记,获得可表达样本的整体结构的均衡样本．仿真试验表明:提出的联合算法在性能上要优于2种单一算法．对比常见的主动学习算法,改进后的主动学习算法分类性能得到显著提升,将其应用于联合算法中的效果更具优势．      

图约束的半监督对抗跨模态检索方法研究

跨模态检索是指给定一种模态的查询词,返回与之语义相关的其他模态关联词的一种检索方法。现有工作主要集中监督式跨模态检索方法研究,而实际应用中样本标签少,样本标签获取成本高。为此,提出一种图约束的半监督对抗跨模态检索方法(SS-ACMR)。该方法通过对无标签样本建立图作为约束条件来学习公共子空间表示。具体而言,在对抗学习框架下:1)对无标签样本,根据样本之间欧式距离构建图,希望相似样本的公共子空间表示是相似的; 2)对有标签样本使用传统的对抗跨模态检索方法进行学习; 3)无标签样本和有标签样本在对抗学习框架下共同学习公共子空间的表示。Wikipedia数据集和NUSWIDE-10k数据集上的实验结果表明:本文的方法得到了和现有监督跨模态检索方法相当的检索结果,远好于现有半监督跨模态检索方法。     

一种新的半监督支持向量机

在模式识别中,采取支持向量机对有类别标签样本分类是非常有效的,但在实际应用中,对样本进行标记并不是一件容易的工作.通过综合利用有类别标签和无类别标签样本信息构造目标函数和约束条件,借助二次规划模型提出了一种新的半监督支持向量机,从而提高了仅依靠有类别标签样本支持向量机的分类准确率.     

分支定界半监督SVM在油层识别中的应用

为解决油层识别中存在的获得有标记数据的代价过高,有标记数据稀少的问题,提出一种新的基于分支定界的半监督支持向量机(branch and bound for semi-supervised support vector machine,BBS3VM)的油层识别方法。此方法主要将半监督学习(semi-supervised learning, SSL)和分支定界的思想引入到支持向量机(support vector machine, SVM)分类算法中。通过半监督学习的思想,使用大量未标记的样本来改善学习性能,利用分支定界算法提高半监督支持向量机(semi-supervised support vector machine,S3VM)算法的分类精度,将此改进算法应用于测井数据挖掘中的油层识别。经过对某油田的实际测井资料进行处理,实验结果表明,半监督油层识别方法要优于传统的S3VM分类算法,识别率更高,分类效果更显著,与全监督的SVM算法相比较,得到相差不大的分类精度的同时,速度更快。