半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

一种多分类器协同的半监督分类算法SSC_MCC

为了提高半监督分类性能,提出了一种多分类器协同的半监督分类算法SSC_MCC.算法采用双层结构集成,使用多条件判断挖掘未标记样本信息,扩充有标记样本.第一层中,采用三分类器协同投票一致策略实现对未标记样本进行标记,第二层中采用基于正确分类率的分类器加权投票决策标记未标记样本,扩充有标记样本,用最终生成的有标记样本训练分类器,实现半监督分类.最后,使用UCI数据集模拟半监督实验,结果表明SSC_MCCL较好地提高了半监督分类性能.     

半监督多标记学习的基因功能分析

传统的机器学习主要解决单标记学习,即一个样本仅有一个标记．在生物信息学中,一个基因通常至少具有一个功能,即至少具有一个标记,与传统学习方法相比,多标记学习能更有效地识别生物相关基因组的功能．目前的研究主要集中在监督多标记学习算法．然而,研究半监督多标记学习算法,从已标记和未标记的基因表达数据中学习,仍然是未解决问题．提出一种有效的基因功能分析的半监督多标记学习算法SML_SVM首先,SML_SVM根据PT4方法,将半监督多标记学习问题转化为半监督单标记学习问题,然后根据最大后验概率原则（MAP）和K近邻方法估计未标记样本的标记,最后,用SVM求解单标记学习问题．在yeast基因数据和genbase蛋白质数据上的实验表明,SML_SVM性能比基于PT4方法的MLSVM和自训练MLSVM更优．     

基于马尔科夫随机场和鲁棒误差函数的半监督分类研究

为了克服由错误标记样本所引发的问题,提出半监督分类器模型。从标记数据和未标记数据中学习得到决策准则,并在马尔科夫随机场中,运用一个新的基于鲁棒误差函数的能量函数,分别设计基于迭代条件模型和马尔科夫链蒙特卡罗的两种算法来推断标记样本和未标记样本的类别。实验结果表明这两种方法对于现实世界的数据集来说是高效的,并具有很好的鲁棒性。     

感应电机最大效率控制时损耗模型研究

针对半监督学习方法存在的学习速度缓慢、不确定性递增等问题,提出一种基于极端学习机的半监督学习方法.该方法将极端学习机从监督学习模式扩展到半监督学习模式,以输出阈值向量控制标记样本的扩充程度,利用"换位"策略评估扩充标记样本中不确定性的影响.仿真结果表明,所提方法能够显著提高半监督学习的速度并有效减小对标记样本的依赖程度.     

一种基于交叉验证思想的半监督分类方法

为了提高半监督分类的有效性,提出一种基于交叉验证思想的半监督分类方法（CV-S3VM）。通过对未标记样本进行伪标记,将伪标记后的样本加入到标记样本集中,参与交叉验证,选取能使SVM分类器误差最小的标记作为最终的标记,实现对未标记样本进行标记。依次挖掘未标记样本的隐含信息,增加标记样本的数目。使用UCI数据集模拟半监督分类实验环境,结果表明CV-S3VM具有较高的分类率,在标记样本较少的情况下效果更为明显。     

半监督学习理论及其研究进展概述

半监督学习介于传统监督学习和无监督学习之间,是一种新型机器学习方法,其思想是在标记样本数量很少的情况下,通过在模型训练中引入无标记样本来避免传统监督学习在训练样本不足(学习不充分)时出现性能(或模型)退化的问题.半监督学习已在许多领域被成功应用.回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.     

基于一致性和知识粒度的半监督特征选择方法

针对数据标注的代价昂贵和半监督学习难以直接处理高维数据，其包含的冗余特征往往导致分类模型效果不理想问题。为了解决上述问题，根据粒计算模型，提出基于一致性和知识粒度的半监督特征选择方法。利用正域的依赖度去度量有标记样本的一致性，同时采用知识粒度对未标记样本去评价特征对样本空间的可区分性，由此结合数据分布情况构造了一种基于线性融合的特征重要性方法。在此基础上，设计了面向半监督数据的特征选择方法。最后，通过实例分析和与当前四种半监督特征选择方法对比进一步验证了本文方法在半监督数据中的有效性和可行性。     

基于一种多分类半监督学习算法 的驾驶风格分类模型

基于驾驶模拟平台设计实验方案,同步采集驾驶员的驾驶操作信息和车辆状态信息,选取6个表征驾驶风格的特征参数,采用主成分分析(Principal Component Analysis,PCA)算法对多元特征参数进行特征提取,将前3个主成分作为驾驶风格识别模型的特征输入.利用K-means聚类完成样本标记工作.基于有监督支持向量机(Support Vector Machine,SVM)与多分类半监督学习算法(i MLCU)的原理,分别建立SVM与i MLCU驾驶风格识别模型,通过调节标记样本与未标记样本比例,对比使用不同样本比例训练的SVM和i MLCU模型的驾驶风格识别准确率.结果表明:相比于SVM,i MLCU表现出了更优异的驾驶风格识别能力,由此可知半监督i MLCU模型可以利用未标记样本提高模型对驾驶风格的识别能力.     

基于Biased-SVM的非平衡半监督分类算法

针对非平衡数据的半监督分类问题,提出了一种基于Biased-SVM的非平衡半监督分类算法.该方法首先利用初始的标记样本集训练处理不平衡数据的Biased-SVM模型,然后用训练好的Biased-SVM模型为未标记样本加上标签,再把新标记样本加入到初始标记样本集中,重新训练Biased-SVM模型,最后在测试集上进行测试.选取公共数据库里的一些数据集进行实验,首先在两类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体G-mean值的基础上,提高小类的F-value值并具有较高的稳定性;然后在多类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体的EG-mean值的基础上,提高小类识别率并具有较高的稳定性.     

基于Markov随机游走的渐进式半监督分类模型

提出了一种基于Markov随机游走的渐进式半监督分类模型:在随机游走过程中,计算待标注数据到各类的迁移概率时,只考虑相应类别样本的影响,而忽略其他类别样本对随机过程的影响;并在学习过程中借鉴渐进学习思想,通过不断地“纠正”半监督学习过程中的“错误”,从而提高模型的预测精度.在20newsgroups数据集上的实验结果表明:所提出的方法能够提高半监督分类的精度.     

一种改进的协同训练算法:Compatible Co-training

半监督学习是机器学习近年来的热点研究方向,而协同训练(Co-training)则是半监督学习中的重要范式,它利用双视图训练两个分类器来互相标记样本以扩大训练集,以此借助未标记样本提升学习性能.在实际应用中,视图通常会受到属性退化和噪声的影响而变得不充分(即视图不能提供足够的信息来正确预测样本的标记).在不充分视图下,两个视图上的最优分类器变得不再兼容,一个视图中的分类器标记的样本可能不利于另一个视图学得最优分类器.针对这一问题,提出一种改进的协同训练算法Compatible Co-training,它记录学习过程中每个未标记样本被赋予的标记,通过比较更新后的分类器对样本预测的标记与其初始标记,动态地删除标记不一致的样本,从而除去不利于学得最优分类器的样本.实验结果显示出Compatible Co-training比协同训练具有更好的泛化能力和更快的收敛速度.     

联合空谱信息的高光谱影像半监督ELM分类

针对高光谱影像处理应用中,标记样本往往数量较小且质量不均而未标记样本大量存在的问题,结合半监督学习方法,提出一种面向高光谱影像分类的半监督极限学习机分类算法.首先根据图理论,联合高光谱影像空间光谱信息,对标记和未标记样本共同构建无向加权图;然后,考虑平滑性约束和结构最小化原则,构造分类目标函数;最后,利用核方法求解最优参数,进而实现高光谱影像的半监督分类.采用该方法进行分类对比实验,结果表明:该方法能够有效利用未标记样本信息,提高小样本下的高光谱影像分类精度.     

基于半监督阶梯网络的肝脏CT 影像分割

针对医学影像数据中标记样本较少且人工标记成本高的问题, 提出一种基于半监督阶梯网络的肝脏CT(Computed Tomography)影像分割模型。首先, 利用超像素分割对数据进行预处理减少数据量, 并以像素点为中心提取子图像(patch)放入半监督模型进行训练。最后, 利用训练模型进行肝脏分割。实验结果表明, 该模型利用少量的标记图片得到了与监督学习相近的结果。     

一种基于多学习器标记的半监督SVM学习方法

传统的支撑向量机是一种有监督学习方法,为了提高其泛化能力,提出了一种新的基于多学习器标记的半监督SVM学习方法。该方法将训练集分为有标记样本和无标记样本两个集合,通过对无标记样本进行分别标记,不断修正有标记样本集规模,从而提高SVM的泛化性能。在中文电子邮件过滤数据集上的实验结果证明了该方法的可行性和有效性。     

基于模糊度的半监督自步协同下的微信流业务识别

网络数据流的精准业务识别是实现差异化服务的先决条件,常用的监督学习在构建训练数据集时因需要大量人力标注因而难以实施,基于少量标注数据的半监督学习成为研究的热点之一.自步协同训练(self-paced co-training)的半监督框架在处理未标记数据时采用了从易到难、多视角协同的方法,但该方法仅以置信度为选取依据给样本标记伪标签,容易导致多视角的差异性在训练过程中逐步下降,从而引起协同增益下降、模型性能受限等问题.为此面向微信数据流识别问题,提出了一种基于模糊度的自步协同训练模型(fuzziness based self-paced co-training, FBSpaCo),在标注伪标签时进一步引入模糊度评估机制.实验表明,该模型在保证置信度的前提下有效地避免了训练过程中两视角差异性下降,较已有方法较大地提升了识别准确度.     

一种多标记学习入侵检测算法

针对现有入侵检测技术的不足,文章研究了基于机器学习的异常入侵检测系统,将多标记和半监督学习应用于入侵检测,提出了一种基于多标记学习的入侵检测算法。该算法采用"k近邻"分类准则,统计近邻样本的类别标记信息,通过最大化后验概率(maximum a posteriori,MAP)的方式推理未标记数据的所属集合。在KDD CUP99数据集上的仿真结果表明,该算法能有效地改善入侵检测系统的性能。     

基于模拟退火半监督学习的信用预测研究

金融机构结合消费者和商业信息来为企业进行信用打分.我国的企业特别是小微企业信用信息少,造成了只有少量企业拥有信用信息,而大量企业没有信用信息的局面.半监督支持向量机可以利用标记数据和未标记数据进行学习,同时可以克服信用数据类别不均衡和样本信息不足等问题.由于半监督支持向量机的参数对算法效果有较大影响,实际参数选取往往根据经验所得.为此提出了一种利用模拟退火(SA)优化基于确定性退火半监督支持向量机(DAS3VM)参数的SAS3VM算法.该算法在少量有标记信用数据的基础上,利用大量无标记信用数据辅助学习,使用模拟退火寻找最优参数.最后在两组企业信用数据集和三组个人信用数据集上进行对比实验,结果表明,半监督学习方法(DAS3VM和SAS3VM)优于监督学习方法,SAS3VM在准确率上比DAS3VM最大提升了13.108%.     

基于模糊粗糙集的半监督影像分类算法

针对影像分类中少量标记样本问题,提出了基于模糊粗糙集的影像半监督分类算法.首先,通过模糊粗糙集对数据的粗糙性与模糊性进行建模,采用归一化的模糊互信息来度量特征与类别信息的相关性,并利用模糊上下近似度量样本的类别隶属度;然后,结合归一化的模糊互信息改进正则化框架下的特征评价方法,在谱图分析的半监督特征选择框架下实现特征优选;其次,结合近邻约束提高模糊上下近似预测样本类别的准确性,设计基于模糊粗糙集的约束自学习,选择信息量大的未标记样本更新训练样本集;最后,利用新的样本集训练分类器,完成影像分类任务.多组实验表明所提算法能够在少量标记样本的条件下有效提高影像的分类精度.