一种基于分类置信度差异性的协同训练算法

协同训练是一种流行的半监督学习算法,是目前机器学习和模式识别领域中的一个研究热点.基于差异性的协同训练利用分类器之间的差异性进行相互学习来提供性能.在对各种协同训练算法的分类差异性进行分析总结的基础上,提出了一种基于分类置信度差异最大化的协同训练算法.在12个UCI数据集上的实验表明,该算法优于标准协同训练算法co-training,从而验证了算法的有效性.     

基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

脑-机接口系统的类协同式半监督学习

针对如何提高有标签样本不足时的分类精度问题。提出脑-机接口系统(BCI)的类协同半监督学习算法(LCTSSL),采用有监督和无监督两种算法提取双特征训练双分类器协同扩充有标签样本集。在训练前后阶段设置不同置信度度量,选择两分类器分类结果一样的高置信度样本进行标记,保持每类每次新标记样本数目一样,提高有标样本集的可信度及识别系统的鲁棒性。迭代更新两分类器、有监督提取系统及相应特征,充分利用新标签信息。最后利用BCI竞赛2005的数据I证明LCTSSL算法的有效性。     

基于伪标签和迁移学习的双关语识别方法

针对双关语样本短缺问题,研究提出了基于伪标签和迁移学习的双关语识别模型(pun detection based on Pseudo-label and transfer learning)。该模型利用上下文语义、音素向量和注意力机制生成伪标签;然后,迁移学习和置信度结合挑选可用的伪标签;最后,将伪标签数据和真实数据混合到网络中进行训练,重复伪标签标记和混合训练过程。一定程度上解决了双关语样本量少且获取困难的问题。使用该模型在SemEval 2017 shared task 7以及Pun of the Day数据集上进行双关语检测实验,结果表明模型性能均优于现有主流双关语识别方法。     

多视角半监督分类算法比较及研究进展

随着科技的发展,数据的获取渠道变得越来越多,所获得的数据也越来越多样化,多视角数据在目前的应用也已经相当普遍.但是在处理真实世界的问题时,获得的多视角数据一般只带有少量标签,而人工标注的成本比较高昂,因此多视角半监督学习在机器学习和图像处理领域引起了许多学者的关注.本研究对近年来提出的多视角半监督分类方法进行归类,并对多视角半监督分类方法所面临的挑战进行讨论.     

多视角半监督分类算法： 最新进展与比较研究

随着科技的发展，数据的获取渠道变得越来越多，所获得的数据也越来越多样化，多视角数据在目前的应用也已经相当普遍. 但是在处理真实世界的问题时，获得的多视角数据一般只带有少量标签，而人工标注的成本比较高昂，因此多视角半监督学习在机器学习和图像处理领域引起了许多学者的关注. 本文总结了近年来发表的多视角半监督分类方法并对这些方法进行了归类，对多视角半监督分类方法所面临的挑战进行了讨论.     

基于伪标签-1D DenseNet-KNN的光伏阵列开集复合故障诊断方法

提出了一种基于伪标签-1D DenseNet-KNN的光伏阵列故障诊断方法,实现在少标签样本下的光伏阵列复合故障开集识别。首先,分析了各种常见单一故障及灰尘覆盖下复合故障的I-V曲线特性。然后,为了克服常规的半监督机器学习算法需手动提取数据特征,采用一种伪标签与1D DenseNet相结合的半监督方法自动提取特征。最后,将对训练数据提取的特征、训练数据预测的标签及测试样本提取的特征输入K最近邻（KNN）算法进行开集复合故障诊断。实验表明,该方法不仅能准确分类各种已知类样本,而且能识别出未知类别故障,并且模型的训练仅需少量标签数据。     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

基于协同表示标签传播的半监督正交鉴别分析算法

近年来由于其表示的有效性,基于表示的分类方法,例如稀疏表示分类器(SRC)或者协同表示分类器(CRC)被广泛的应用于各种各样的识别任务.但是,SRC或者CRC的性能严重依赖于每类带标签训练样本的个数,当每类带标签的训练样本不够充分,SRC或者CRC的识别性能将会显著地下降.为了解决这个问题,文章[34]把协同表示技术引入到半监督学习方法中,提出了一种基于协同表示的标签传播算法,有效的利用了大量未标记样本的信息来进行标签传播.受此启发,把这种标签传播算法与正交鉴别分析算法相结合,提出了一种基于协同表示标签传播的半监督正交鉴别分析算法,目的是为了学习一个更好的鉴别子空间.不同于传统的半监督降维方法,所提算法首先利用这种标签传播算法将部分有标签数据的标签信息传递给不带标签的数据,之后利用传播后获得的全体软标签信息构造离散度矩阵实现鉴别分析,其次对鉴别投影施加正交约束,采用一种更加有效快速的迹比优化算法进行鉴别分析.大量的实验结果验证了所提算法的有效性.尤其在只存有少量标签样本的情况下,算法仍能保持良好的分类性能.     

基于样本选择策略的SAR图像半监督分类算法

针对当前SAR图像半监督协同训练分类算法受相干斑噪声干扰等问题,本文提出了基于选择策略的SAR图像半监督分类方法.该方法首先以超像素为基本单元,在获取伪样本过程中,利用典型相关性分析作为SAR图像高置信度样本补充判别器,而对于低置信度样本,提出基于超像素和主动学习的样本扩充方法,然后基于扩充后的样本实现SAR图像的半监督分类;最后通过理论分析和实验验证了该方法在标注样本较少的情况下,取得了较好的效果和精度,降低了相干斑噪声对分类效果的影响.     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

噪声标签识别与纠正的置信度预测方法

弱监督场景下的标签噪声广泛存在于现实世界的数据中,导致分类性能下降。测量误差、主观标签偏差和人为标记错误都是导致噪声标签的主要原因。为降低噪声标签对模型分类性能的影响,该文提出一种噪声标签识别与纠正的置信度预测方法(CPRC)。首先,定义初始可信样本选择策略,筛选优质的可信样本;然后,建立置信度连接关系,设计标签概率预测方法,推断样本标签置信度;最后,迭代搜索最优置信度样本,实现噪声标签识别和纠正。该文选择在Seeds、Penbase等经典数据集上进行广泛实验,实验结果表明,该文算法可以显著提高不同类型基础分类器在不同噪声比下的分类性能,且性能优于目前先进的噪声标签学习算法。     

基于多类型文本的半监督性别分类方法研究

提出一种基于多种文本类型的半监督性别分类方法,即根据微博平台中用户所产生的不同类型的文本(如:原创微博、转发微博等)对用户的进行性别分类。文中的方法是一种基于协同训练(Co-training)的半监督学习方法,旨在减少分类器对大量标注样本的依赖。首先将不同类型的文本分为不同的独立视图;其次,在每个视图中利用LSTM分类器挑选置信度最高的未标注样本;最后,将挑选出来的未标注样本加入训练模型迭代训练。实验结果表明我们的方法能够有效利用非标注样本信息,并明显优于其他现有的半监督性别分类方法。     

半监督条件下的贝叶斯估计辐射源指纹特征识别

针对传统辐射源指纹识别过程中测试数据间的相关性往往被忽略,同时非合作条件下辐射源信号的识别训练标签数据不足的问题,提出了一种半监督条件下的贝叶斯估计辐射源指纹特征识别算法.首先,针对训练数据集不足的问题,在训练特征集提取阶段,利用半监督条件下的贝叶斯估计算法将有标签训练数据和无标签测试数据同时用于特征学习,以获取更为鲁棒的训练特征集.其次,为了有效利用测试数据之间的相关性,在测试特征集识别阶段,利用测试特征集与训练特征集的联合表征模型,将测试数据之间的相关性考虑在内,以提高识别算法的鲁棒性.实验结果表明:该算法在训练样本较少的情况下,依然可以获得较为鲁棒的分类识别效果.     

基于伪标签回归和流形正则化的无监督特征选择算法

无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术，然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性，选择具有低判别性信息的特征.基于此，提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地，联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签，同时，自适应学习数据样本之间的局部几何结构，获得更加精准的标签信息和结构信息，进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明，提出算法的特征选择结果优于现有的一些无监督特征选择算法.     

基于Biased-SVM的非平衡半监督分类算法

针对非平衡数据的半监督分类问题,提出了一种基于Biased-SVM的非平衡半监督分类算法.该方法首先利用初始的标记样本集训练处理不平衡数据的Biased-SVM模型,然后用训练好的Biased-SVM模型为未标记样本加上标签,再把新标记样本加入到初始标记样本集中,重新训练Biased-SVM模型,最后在测试集上进行测试.选取公共数据库里的一些数据集进行实验,首先在两类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体G-mean值的基础上,提高小类的F-value值并具有较高的稳定性;然后在多类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体的EG-mean值的基础上,提高小类识别率并具有较高的稳定性.     

基于Tri-training MPLS的半监督软测量模型

随着污水处理过程日趋复杂,易测量变量和难测量变量的比例严重失衡,传统的监督性软测量建模方法已经无法满足需求.针对这一问题,提出了一种新的半监督学习的软测量模型?Tri-training MPLS模型.首先将标记数据均分为相互独立的3个部分,并由这3个相互独立的标记样本子集选择置信度高的未标记样本训练模型,提高模型的预测...