结合相似度的朴素贝叶斯半监督自训练方法

【目的】自训练方法易选出低置信度的无标记样本去训练分类器,在训练中也易误标记无标记样本导致错误累积,针对这些问题提出结合相似度选择高置信度样本的朴素贝叶斯自训练方法。【方法】选择朴素贝叶斯作为基分类器,在迭代中通过相似度计算方法计算样本相似度,选择同时满足相似度阈值和类别号判别一致的无标记样本加入训练集。【结果】在UCI数据集的对比实验中发现,提出的新方法的分类正确率高于其他对比算法。【结论】新方法能够利用少量有标记样本和不断添加的置信度高的无标记样本去训练分类器,提高分类精度,解决了自训练方法因有标记样本集初始分布不均导致准确率较低的问题。
     

结合相似度的朴素贝叶斯半监督自训练方法

【目的】自训练方法易选出低置信度的无标记样本去训练分类器,在训练中也易误标记无标记样本导致错误累积,针对这些问题提出结合相似度选择高置信度样本的朴素贝叶斯自训练方法。【方法】选择朴素贝叶斯作为基分类器,在迭代中通过相似度计算方法计算样本相似度,选择同时满足相似度阈值和类别号判别一致的无标记样本加入训练集。【结果】在UCI数据集的对比实验中发现,提出的新方法的分类正确率高于其他对比算法。【结论】新方法能够利用少量有标记样本和不断添加的置信度高的无标记样本去训练分类器,提高分类精度,解决了自训练方法因有标记样本集初始分布不均导致准确率较低的问题。     

结合密度峰值优化模糊聚类的自训练方法

【目的】为了在迭代自训练之前探索数据集分布情况,挑选出所含信息量较大且置信度较高的无标记样本加入训练集训练,让训练出的初始分类器有较高的准确性,提高自训练方法的泛化性。【方法】以聚类假设为基础,先对无标记样本集进行密度峰值聚类,在人工地选出聚类中心后,将新的聚类中心作为模糊聚类的初始聚类中心进行模糊聚类,从而筛选出有用的无标记样本。【结果】通过使用密度峰值优化模糊聚类算法,筛选出所含信息量大且置信度高的样本加入了训练集,训练出泛化性更强、分类精度更高的分类器。【结论】实验结果表明,改进后的自训练方法能快速发现样本集原始空间结构,筛选出有用无标记样本加入训练集,与结合其他聚类算法的自训练方法相比分类精度有所提高。     

一种多分类器协同的半监督分类算法SSC_MCC

为了提高半监督分类性能,提出了一种多分类器协同的半监督分类算法SSC_MCC.算法采用双层结构集成,使用多条件判断挖掘未标记样本信息,扩充有标记样本.第一层中,采用三分类器协同投票一致策略实现对未标记样本进行标记,第二层中采用基于正确分类率的分类器加权投票决策标记未标记样本,扩充有标记样本,用最终生成的有标记样本训练分类器,实现半监督分类.最后,使用UCI数据集模拟半监督实验,结果表明SSC_MCCL较好地提高了半监督分类性能.     

基于模糊粗糙集的半监督影像分类算法

针对影像分类中少量标记样本问题,提出了基于模糊粗糙集的影像半监督分类算法.首先,通过模糊粗糙集对数据的粗糙性与模糊性进行建模,采用归一化的模糊互信息来度量特征与类别信息的相关性,并利用模糊上下近似度量样本的类别隶属度;然后,结合归一化的模糊互信息改进正则化框架下的特征评价方法,在谱图分析的半监督特征选择框架下实现特征优选;其次,结合近邻约束提高模糊上下近似预测样本类别的准确性,设计基于模糊粗糙集的约束自学习,选择信息量大的未标记样本更新训练样本集;最后,利用新的样本集训练分类器,完成影像分类任务.多组实验表明所提算法能够在少量标记样本的条件下有效提高影像的分类精度.     

基于核均值漂移聚类的改进局部协同训练算法

【目的】针对协同训练算法不能直接应用于单视图数据，且在迭代过程中加入的无标记样本隐含有用信息不够的问题，提出基于核均值漂移聚类的改进局部协同训练算法。【方法】该算法先在有标记样本集中利用改进局部协同训练算法训练一个完整视图分类器h1，同时挑选出价值高的特征子集来训练局部视图分类器h2，然后在无标记样本集中采用核均值漂移算法选择聚类过程中指定带宽范围内的样本，交由分类器h2标记类别后再加入分类器h1的训练中，以此来优化分类模型。【结果】在UCI数据集上的3组对比实验证明了该算法的有效性，实验结果表明该算法具有更高的模型评价能力。【结论】改进局部协同训练算法将数据集划分为局部视图和完整视图，解决了单视图数据的视图划分问题。利用核均值漂移算法选出较好表现数据空间结构的无标记样本，降低了无标记样本带来的误差。     

基于峰度量化标记形态模糊度的标记分布学习

为了提升标记分布学习在歧义性分类问题上的预测性能,对标记形态上的模糊度进行研究.提出了标记形态模糊度的概念,给出了基于峰度的一种度量方式,探讨了不同模糊程度样本对于分类学习的影响.根据低模糊度数据更有利于学习的研究发现,基于加权低模糊度样本和对齐模糊度损失这两种策略设计了一种新的标记分布学习算法.14个数据集上的十折交...     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

一种改进的协同训练算法:Compatible Co-training

半监督学习是机器学习近年来的热点研究方向,而协同训练(Co-training)则是半监督学习中的重要范式,它利用双视图训练两个分类器来互相标记样本以扩大训练集,以此借助未标记样本提升学习性能.在实际应用中,视图通常会受到属性退化和噪声的影响而变得不充分(即视图不能提供足够的信息来正确预测样本的标记).在不充分视图下,两个视图上的最优分类器变得不再兼容,一个视图中的分类器标记的样本可能不利于另一个视图学得最优分类器.针对这一问题,提出一种改进的协同训练算法Compatible Co-training,它记录学习过程中每个未标记样本被赋予的标记,通过比较更新后的分类器对样本预测的标记与其初始标记,动态地删除标记不一致的样本,从而除去不利于学得最优分类器的样本.实验结果显示出Compatible Co-training比协同训练具有更好的泛化能力和更快的收敛速度.     

改进的主动学习算法及在高光谱分类中的应用

针对主动学习算法能主动从大量未标记样本中选择最能提高分类器性能的样本加入训练集,可从小的非最优训练集建立高性能的分类器这一特点,以及传统主动学习算法熵值装袋查询的多值偏置问题,提出了改进的均值熵值装袋查询算法,引入权值函数保证了取样的多样性.通过对高光谱遥感图像分类的实验表明:主动学习只需大约20%的样本即可达到使用全部数据集作为训练集的分类效果,而且均值熵值装袋查询方法具有较高的分类精度,同时拥有较快的收敛速度.     

脑-机接口系统的类协同式半监督学习

针对如何提高有标签样本不足时的分类精度问题。提出脑-机接口系统(BCI)的类协同半监督学习算法(LCTSSL),采用有监督和无监督两种算法提取双特征训练双分类器协同扩充有标签样本集。在训练前后阶段设置不同置信度度量,选择两分类器分类结果一样的高置信度样本进行标记,保持每类每次新标记样本数目一样,提高有标样本集的可信度及识别系统的鲁棒性。迭代更新两分类器、有监督提取系统及相应特征,充分利用新标签信息。最后利用BCI竞赛2005的数据I证明LCTSSL算法的有效性。     

基于局部密度改进的SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于局部密度改进的SVM不平衡数据集分类算法.该算法先将多数类划分成多个子类,并依据子类内每个样本的局部密度选出边界区域、靠近边界区域的与少数类数目相等的样本,与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器进行迭代优化.结果表明,与WSVM,ALSMOTE-SVM和基本SVM算法相比,该算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能.     

一种新的近邻密度SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出一种新的近邻密度SVM(NNDSVM)不平衡数据集分类算法。该算法先计算多数类中每个样本K近邻范围内的密度值,依据该密度值分别选出边界区域、靠近边界区域的与少数类数目相等的样本与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器迭代优化。人工数据集和UCI数据集的实验结果表明,与SVM、ALSMOTE-SVM和WSVM算法相比,本文算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能。     

一种多分类的微博垃圾用户检测方法

针对微博多类垃圾用户的检测问题,设计了一种基于模糊多类支持向量机的垃圾用户检测方法。首先,采用一对多SVM(support vector machines)的构造思想来构造多分类器,并针对每类用户的分类器重新选择训练集;然后,利用构造好的训练集来训练多分类器,经过反复调整参数,得到5个用户分类器;最后,针对多分类器的不可分样本,采用模糊聚类来进行模糊处理,即在垂直于SVM的最优分类面上定义一个改进的隶属度函数,选择最大隶属度对样本进行再分类。实验结果表明,该方法在保证垃圾用户检测效果的前提下,可以解决多分类中存在的混分和漏分问题。     

一种粗模糊神经分类器

介绍一种新的粗集编码模糊神经分类器。基于粗集理论的概念，讨论了知识编码、属性简化、分类系统简化的方法；并利用模糊隶属度函数将输入精确信息映射为模糊变量信息，解决分类中病态定义的数据问题和提高系统非线性映射的分类能力；提出了结合系统参数的重要性因子的网络的模糊推理方法和粗模糊神经分类器的网络结构以及有导师的最小平方误差学习训练算法。实现的粗集编码模糊神经分类器具有网络结构空间维数低、学习算法简单、网络训练时间短、非线性特性丰富等优点。     

结合主动学习与关系图卷积神经网络的社交机器人检测

社交机器人一直在应用中不断发展，并且为了逃避现有的检测方法，变得更加先进和复杂，较大地影响了原有部分社交机器人检测方法的效果.检测社交机器人成为了一项漫长而又艰巨的工作.在社交机器人检测领域中，目前存在着已公开相关数据集较少的情况，需要人工标注大量的数据.本文提出了一种结合主动学习与关系图卷积神经网络(RGCN)的检测方法——ALRGCN,用以解决人工标注大量数据成本较高的问题.其主要思路是利用主动学习方法来扩充标记数据集，以最大化人工标注的价值.主动学习利用种子选择算法构建初始训练集以及不确定性采样方法筛选出较高信息熵的样本，交由分类模型进行训练，旨在通过专业人员的经验来人工标注一些分类器难以分类的数据.鉴于社交机器人通常以集群的形式出现，本文引入了RGCN来捕捉其网络结构特征.RGCN可以有效地分析节点及其相邻节点的属性，进而帮助该节点进行分类.实验在TwiBot-20数据集上进行，通过对比进行使用的基线实验，ALRGCN在F1上取得了2.83%的提升.实验结果证明，ALRGCN在标注样本更小的情况下可以更有效地检测出社交机器人.     

基于密度峰值聚类和模糊支持度的boosting随机森林

为了解决传统分类算法在不平衡样本集上分类效果不佳的问题,提出一种新的欠采样boosting集成算法(FECBoost).首先,通过改进的模糊熵反映样本集原始分布的不确定性,并用此模糊熵判断多数类样本所在的区域,称为安全区域或边界区域;其次,利用密度峰值聚类算法选取安全区域的代表性样本以减少分类器的训练时间和样本间的重叠,降低样本的不平衡度,实现静态欠采样;最后,训练新的boosting集成分类器,在算法每一次迭代之前,基于模糊熵和模糊支持度对多数类样本再次欠采样,使用于训练的样本集达到平衡.该动态欠采样依赖于分类器的训练过程,充分考虑了样本分布的不确定性和错分可能性.通过在真实样本集上的仿真实验验证了提出方法的有效性.     

基于改进主动学习和自训练的联合算法

针对主动学习面向大型数据集人工标记成本过高和半监督自训练算法中存在误标记点影响的问题,提出了一种主动学习与半监督自训练交替迭代训练的联合算法．算法在训练过程中奇数轮次采用主动学习算法,偶数轮次采用自训练算法,通过2种算法的交替迭代训练以弥补彼此不足．自训练算法对无标记样本的预测减轻了主动学习标记样本的负担,同时主动学习标记易变成噪声的样本,减轻了自训练算法训练过程中对样本的标记错误．提出了一种基于密度峰值聚类和隶属度的改进主动学习算法:将初始无标记样本聚类成簇,根据隶属度差值在每个簇内选取部分样本做人工标记,获得可表达样本的整体结构的均衡样本．仿真试验表明:提出的联合算法在性能上要优于2种单一算法．对比常见的主动学习算法,改进后的主动学习算法分类性能得到显著提升,将其应用于联合算法中的效果更具优势．      

一种改进的最大相关最小冗余选择性贝叶斯分类器

利用K均值聚类和增量学习算法扩大训练样本规模,提出一种改进的mRMR SBC.一方面,利用K均值聚类预测测试样本的类标签,将已标记的测试样本添加到训练集中,并在属性选择过程中引入一个调节因子以降低K均值聚类误标记带来的风险.另一方面,从测试样本集中选择有助于提高当前分类器精度的实例,把它加入到训练集中,来增量地修正贝叶斯分类器的参数.实验结果表明,与mRMR SBC相比,所提方法具有较好的分类效果,适于解决高维且含有较少类标签的数据集分类问题.