基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

基于中心差分卷积的自监督学习方法研究

作为无监督学习的一个分支，自监督学习可以从大量无标签数据中学习到有用的特征，是近期一个热门的研究方向.基于前置任务和对比学习的自监督学习已经得到了大量的研究，但对于卷积操作的选择还没有得到足够的重视.将中心差分卷积神经网络引入自监督学习，探究了卷积操作对自监督学习性能的影响.实验结果显示，加入了中心差分卷积神经网络的Resnet18模型相比普通模型在下游分类任务上的性能提升了4.14%,在几乎未增加计算量的情况下，与Resnet50性能相当.     

基于深度学习的行为检测方法综述

行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来,基于深度学习的方法在行为检测领域取得了巨大的进展,引起了国内外研究者的关注,对这些方法进行了全面的梳理和总结,介绍了行为检测任务的详细定义和面临的主要挑战;从时序行为检测和时空行为检测2个方面对相关文献做了细致地分类,综合分析了每一类别中不同研究方法的思路和优缺点,并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法;介绍了行为检测领域常用的数据集以及性能评估指标,在这些数据集上比较了几种典型方法的性能;总结了当前行为检测方法需要解决的问题以及进一步发展的研究方向。     

非对称稀疏图的半监督学习研究

【目的】如何构造一个有效的数据图,是半监督学习领域中一个重要的研究方向,为了更好地研究数据样本之间的结构关系,提高基于图的半监督学习算法性能。【方法】利用数据的稀疏表示,构造数据样本的非对称图,并在标准数据集上进行半监督学习实验。【结果】在半监督学习框架中建立了异类数据和同类数据之间距离、内部结构和数据的稀疏表示关系,构造了非对称稀疏的数据图。【结论】通过在标准数据集上进行实验说明非对称稀疏图可以利用半监督学习数据特点,有效地对数据样本进行分类。
     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤, 旨在从文本中挖掘结构化事实. 在应用传统的远程监督方法完成实体关系抽取任务时存在 2 个问题: ① 远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐, 并将对齐结果作为文本的标注数据, 这必然会导致错误标签问题; ② 目前基于统计学的方法过于依赖自然语言处理工具, 提取特征处理过程中生成的噪声积累严重影响抽取结果. 为了解决远程监督存在的弊端, 提出了一种基于注意力机制的端到端的分段循环卷积神经网络(convolutional neural network, CNN)模型. 为了检测更加细微的特征, 在网络输入层添加了注意力机制, 自动学习句子中与关系抽取相关的内容; 基于位置特征和词向量特征对句子进行编码, 并使用分段卷积神经网络(piecewise CNN, PCNN)抽取句子特征进行分类, 在网络中使用了效率较高的最大边界损失函数来衡量模型的性能. 该方法在 New York Times (NYT)数据集上的准确率比经典的 PCNN+MIL 模型提高了 2.0%, 比经典的 APCNN+D 模型提高了 1.0%, 与其他几种基线模型相比, 该模型准确率表现出色.     

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力，被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题，本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练，以提取遥感图像全局特征；第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息；最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明，该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型，接近GLANet、CANet、MG-CAP (Sqrt-E)等主流监督模型，具有良好的应用价值。     

基于一致性和知识粒度的半监督特征选择方法

针对数据标注的代价昂贵和半监督学习难以直接处理高维数据，其包含的冗余特征往往导致分类模型效果不理想问题。为了解决上述问题，根据粒计算模型，提出基于一致性和知识粒度的半监督特征选择方法。利用正域的依赖度去度量有标记样本的一致性，同时采用知识粒度对未标记样本去评价特征对样本空间的可区分性，由此结合数据分布情况构造了一种基于线性融合的特征重要性方法。在此基础上，设计了面向半监督数据的特征选择方法。最后，通过实例分析和与当前四种半监督特征选择方法对比进一步验证了本文方法在半监督数据中的有效性和可行性。     

半监督自训练方法综述

[目的]通过介绍半监督自训练的背景及自训练方法的理论、训练机制、特征属性、比较标准,并梳理自训练方法的应用场景和存在的主要问题,为 自训练方法的进一步研究提供参考.[方法]检索半监督自训练方法的相关文献,回顾近些年 自训练方法研究领域取得的进展并进行归纳总结.[结果]首先,介绍了半监督 自训练方法的背景及自训练方法的理论.然后,从相关研究中梳理了 自训练方法训练机制、特征属性、比较标准.在训练机制部分,归类总结了 自训练学习过程中训练集的扩充方法;在特征属性部分,分别从自训练方法的置信度度量方式和训练过程中的停止准则进行阐述;在比较标准部分,论述了衡量自训练方法有效性的评价指标.最后,整理归纳了 自训练方法的应用场景和主要存在的问题.[结论]半监督自训练方法的理论研究和应用探讨在未来一段时间仍然是机器学习研究的重点和热点之一,本研究对于理解半监督自训练方法的学习机理以及解决实际应用问题等都具有重要的理论价值和现实意义.     

一种用于语音质量评价的半监督学习方法研究

自动语音质量评估是一项重要的任务,因标注缺乏、对不可见记录条件的不良概括以及现有方法缺乏灵活性等问题阻碍了评估研究的进展.提出使用半监督学习方式来解决这些问题,将可用的标注数据与自动生成的数据相结合,并使用3个不同的优化准则以及5个互补的辅助任务进行联合优化.实验结果表明,这种半监督学习的方式可以将现有方法的误差率减少36％以上,同时在可重用特征或辅助输出方面可以提供额外的效益.同时,实验结果也显示出该方法具有良好的泛化能力和有效性.     

基于图自监督对比学习的社交媒体谣言检测

网络社交媒体的快速发展提供了便捷的信息获取方式，但也滋生了谣言和虚假新闻，现有的谣言检测模型在有标注数据充足时能有效解决分类问题，然而谣言可用的标注数据有限，各种针对谣言特点精心设计的模型倾向于过拟合，同时，现有模型的鲁棒性不足，谣言传播者恶意破坏谣言传播结构会使模型出现分类错误.针对以上问题，采用自监督的图对比学习方法，对原始谣言传播图进行不同方式的数据增强来模拟对原图的扰动，建立自监督对比学习任务，使图编码器捕获谣言更趋本质的特征，缓解了过拟合，提高了模型的鲁棒性与泛化性能.在来源于主流社交媒体平台的三个公开数据集Twitter15,Twitter16和PHEME上进行了对比实验，实验结果显示，提出的模型的准确率比基准模型分别提高3.4%,1.8%和1.2%，证实了图自监督对比学习方法在谣言检测任务上的有效性.     

基于特征相似性学习的抛洒物检测方法

针对当前以目标检测为核心的抛洒物检测算法无法识别“未知类别”的缺陷，以抛洒物引发外观特征变化的视角切入，提出基于特征相似性学习的抛洒物检测方法。首先，在抛洒物体过程中采集参考图像和待检图像，通过参数共享的孪生卷积神经网络得到两张图像的外观特征，然后利用欧式距离等特征相似性函数计算图像区域之间的特征变化并得到欧式距离热力图，最后经阈值筛选得到抛洒物检测结果。为了提升算法对光照等噪声的抗干扰能力，提出全新的注意力掩膜单元，并通过构建长跨度上下文信息和强监督学习的方式提升注意力掩膜的语义判别性能，引导特征响应聚焦于抛洒物引起的外观变化，同时忽略噪声产生的扰动，最终解决噪声干扰和抛洒物产生的特征缠绕问题。为了验证方法的有效性，本研究在真实高速公路场景下进行视频影像数据采集、标注、构建成标准数据集。结果表明：注意力掩膜单元有效提升了特征的语义判别性能，大幅度提高抛洒物检测精度，其中调和均值F₁提高6.4个百分点，同时算法运行速度稳定在30帧/s，满足实时性需求；利用特征序列状态转移方式构建的长跨度上下文信息更有利于注意力掩膜聚焦抛洒物特征信息，抗噪声干扰能力更强；通过强监督...     

利用深度神经网络的无监督视频表示

在计算机视觉领域中,大多数的视频表示方法都是有监督的,需要大量带有标签的训练视频集,但标注大量视频数据会花费极大的人力和物力.为了解决这个问题,提出了一种基于深度神经网络的无监督视频表示方法.该方法利用改进的稠密轨迹(iDT)算法提取的视频块交替地训练深度卷积神经网络和特征聚类,得到可提取视频特征的深度卷积神经网络模型;通过视频的中层语义特征,实现了无监督视频表示.该模型在HMDB 51行为识别数据库和CCV事件检测数据库上分别进行了动作识别和事件检测的实验,获得了62.6%的识别率和43.6%的检测率,证明了本文方法的有效性.     

双交叉注意力自编码器改进视频异常检测

针对视频中包含的异常事件数量稀少,信息密集的特征容易被遗漏等问题,本文提出一种双交叉注意力自编码器的视频异常事件检测方法.首先预处理视频集,提取视频帧中表观和运动特征,然后设计双交叉注意力模块融入自编码器中,使特征图在自编码器中能够更好地关联全局特征.其次将提取后的特征放入各自的自编码器中学习正常行为,使含有正常事件的视频帧能被模型重构,含有异常事件的视频帧则无法被重构.最后通过检测模型得到各个视频帧的重构误差从而进行异常事件判定.该方法可以以局部特征关联全局特征的方式有效提高视频异常事件检测的准确率,通过在多个公开数据集中进行实验验证,证明该方法优于其他同类方法.     

半监督学习在入侵检测系统中的应用

提出了一种基于半监督模糊聚类的异常入侵检测方法,半监督学习算法的训练样本包括已标记数据和未标记数据,在训练系统模型时使用少量已标记样本和大量未标记样本作为种子初始化入侵检测系统的分类器,在少量已标记数据的约束下利用模糊C均值方法生成聚类,无需提供大量标记数据,不易陷入局部最优.实验表明,与FCM算法相比具有较高的性能.     

基于半监督聚类的入侵检测模型

利用少量的标记数据和约束辅助聚类过程,提出一种基于半监督聚类的入侵检测模型.实验结果表明,与基于监督和非监督学习的入侵检测算法相比,基于半监督聚类的入侵检测算法可以更加有效地检测出未知攻击.     

基于双任务一致性的半监督深度学习医学图像分割方法

【目的】医学图像分割是医学图像分析中的一个重要内容。现有的大部分图像分割算法都是基于监督学习,而实际应用中医学图像标签难以获取,大量标注需依赖领域专家,费时费力。因此,提出一种双任务一致性的半监督医学图像分割模型。【方法】该模型采用一个编码器,两个解码器的网络结构,其中编码器和一个解码器实现图像分割,与另一个解码器实现图像重建。无标签数据通过一致性分割与重建任务得到的两个不同图像背景计算损失并优化网络参数。同时在网络的编码器部分加入注意力模块以更好地获取分割区域的空间位置信息,并使用锐化操作增加无标签数据重建输出的置信度。【结果】在肝脏和细胞数据集上IOU分别为0.953 6和0.821 0,相较于U Net提高了1.5%和4.82%;在眼底血管数据集上,SP值为0.983 0,与第二名相比提升了0.18%。【结论】本文模型与有监督方法和半监督方法相比,在医学图像分割的有效性和泛化性上有一定的性能提升,能有效解决数据集数量少、小病灶分割难度大的问题。     

基于Markov随机游走的渐进式半监督分类模型

提出了一种基于Markov随机游走的渐进式半监督分类模型:在随机游走过程中,计算待标注数据到各类的迁移概率时,只考虑相应类别样本的影响,而忽略其他类别样本对随机过程的影响;并在学习过程中借鉴渐进学习思想,通过不断地“纠正”半监督学习过程中的“错误”,从而提高模型的预测精度.在20newsgroups数据集上的实验结果表明:所提出的方法能够提高半监督分类的精度.     

有监督的核局部线性嵌入算法

核局部线性嵌入法是一个优异的流形学习方法,对于非线性高维数据的降维问题,具有较好的效果。但是算法本身是一个无监督学习方法,对于模式分类等有监督学习问题效果不是很好。通过分析监督学习问题的机理,提出了一种有监督的核函数局部线性嵌入算法,数值实验证明算法对于有监督学习问题,具有较好的效果。     

基于对比学习的半监督肝脏血管分割方法

针对肝脏血管分割方法通常依赖高质量有标签数据训练模型及现存对比学习方法过度关注局部信息而忽略全局信息的问题,提出一种基于全局和局部对比学习的半监督肝脏血管分割方法．本方法首先以Mean Teacher模型作为框架,对编码器输出高维特征进行全局对比,捕捉特征全局一致性,获取更丰富全局上下文信息;然后对解码器输出进行局部对比,获取语义分割中的局部像素级特征;最后引入分布差异最小化方法,通过使用判别器进行对抗训练,减少有标签和无标签数据之间的分布差异,提升模型的泛化性能．实验结果表明：本方法在肝脏血管分割任务上取得了显著的效果,在3Dircadb数据集上的Dice系数、Jaccard系数、平均表面距离(ASD)和95%豪斯多夫距离(95HD)分别为74.36%,59.73%,2.65 mm和13.57 mm,优于其他半监督方法．     

基于对比学习的暴力检测算法研究

针对现有暴力检测模型实际部署中存在数据标注成本高,提出基于对比学习的半监督模型训练框架,利用对比学习训练模型的表征能力,对比样本采用基于速度和基于全局和局部对比生成方式,对比框架在大量正负样本对比基础上增加正例样本间对比数量,同时利用伪标注对模型进行微调。实验结果显示,对比学习能够帮助模型在RWF2000和RVLS 5%训练数据下提升了3.9%,2.55%准确率,微调阶段能在RWF2000 25%训练数据下帮助模型进一步提升约3%准确率。