基于半监督多头网络的腰椎CT图像分割

针对医学图像分割任务中医学数据标注困难以及CT图像强度不均匀问题，提出一种基于半监督的多头分割网络SSMH-Net。SSMH-Net网络采用教师—学生训练架构，基于相同的分割模型V-Net,通过指数移动平均算法完成教师与学生模型的交互训练；采用Multi-Head方法估计模型预测的不确定性信息，指导分割模型在更可靠的目标中学习。在CTspine分割数据集上，SSMH-Net网络平均分割Dice系数达到95.70%,表现出较为优异的分割性能。     

基于双任务一致性的半监督深度学习医学图像分割方法

【目的】医学图像分割是医学图像分析中的一个重要内容。现有的大部分图像分割算法都是基于监督学习,而实际应用中医学图像标签难以获取,大量标注需依赖领域专家,费时费力。因此,提出一种双任务一致性的半监督医学图像分割模型。【方法】该模型采用一个编码器,两个解码器的网络结构,其中编码器和一个解码器实现图像分割,与另一个解码器实现图像重建。无标签数据通过一致性分割与重建任务得到的两个不同图像背景计算损失并优化网络参数。同时在网络的编码器部分加入注意力模块以更好地获取分割区域的空间位置信息,并使用锐化操作增加无标签数据重建输出的置信度。【结果】在肝脏和细胞数据集上IOU分别为0.953 6和0.821 0,相较于U Net提高了1.5%和4.82%;在眼底血管数据集上,SP值为0.983 0,与第二名相比提升了0.18%。【结论】本文模型与有监督方法和半监督方法相比,在医学图像分割的有效性和泛化性上有一定的性能提升,能有效解决数据集数量少、小病灶分割难度大的问题。     

基于对比学习的半监督肝脏血管分割方法

针对肝脏血管分割方法通常依赖高质量有标签数据训练模型及现存对比学习方法过度关注局部信息而忽略全局信息的问题,提出一种基于全局和局部对比学习的半监督肝脏血管分割方法．本方法首先以Mean Teacher模型作为框架,对编码器输出高维特征进行全局对比,捕捉特征全局一致性,获取更丰富全局上下文信息;然后对解码器输出进行局部对比,获取语义分割中的局部像素级特征;最后引入分布差异最小化方法,通过使用判别器进行对抗训练,减少有标签和无标签数据之间的分布差异,提升模型的泛化性能．实验结果表明：本方法在肝脏血管分割任务上取得了显著的效果,在3Dircadb数据集上的Dice系数、Jaccard系数、平均表面距离(ASD)和95%豪斯多夫距离(95HD)分别为74.36%,59.73%,2.65 mm和13.57 mm,优于其他半监督方法．     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

基于模糊度的半监督自步协同下的微信流业务识别

网络数据流的精准业务识别是实现差异化服务的先决条件,常用的监督学习在构建训练数据集时因需要大量人力标注因而难以实施,基于少量标注数据的半监督学习成为研究的热点之一.自步协同训练(self-paced co-training)的半监督框架在处理未标记数据时采用了从易到难、多视角协同的方法,但该方法仅以置信度为选取依据给样本标记伪标签,容易导致多视角的差异性在训练过程中逐步下降,从而引起协同增益下降、模型性能受限等问题.为此面向微信数据流识别问题,提出了一种基于模糊度的自步协同训练模型(fuzziness based self-paced co-training, FBSpaCo),在标注伪标签时进一步引入模糊度评估机制.实验表明,该模型在保证置信度的前提下有效地避免了训练过程中两视角差异性下降,较已有方法较大地提升了识别准确度.     

融合多层级特征的弱监督钢板表面缺陷检测算法

由于缺少实例级标签,使得深度神经网络在工业表面检测领域的应用受到了限制.为解决这一问题,本文面向实际的热轧钢板表面缺陷检测任务,提出基于弱监督学习的缺陷检测网络,该网络引入类激活映射模型,使用容易获取的图像级标签进行模型训练,进行钢板表面的缺陷检测.为了进一步提升检测精度和克服类激活映射模型原有的缺点,本文采用性能更优的残差网络作为主干网络进行特征提取,并提出了多层级特征融合网络进行类激活图的生成,来获取更多的细节信息和更准确的目标激活区域.通过在公开缺陷数据集NEU-CLS上进行实验,结果表明本文提出的方法能够在标签不完备的情况下进行缺陷检测任务,并取得0.68%分类错误率和17.75%定位错误率,胜过其他同类的方法.     

“弄假成真”：基于对抗学习的数据增广方法

 近年来,深度学习在计算机视觉领域取得了巨大的突破,其背后是利用大量标签数据对深度网络进行监督训练,而标注大规模数据集非常昂贵且十分耗时。针对大规模数据集标注问题,苹果公司的Shrivastava团队希望借助现有的计算机仿真技术以及对抗训练的方法,实现仿真图像的无监督学习,从而避免昂贵的图像标注过程。该团队在对抗网络的基础上提出3个创新点：（1）自正则项;（2）局部对抗损失;（3）使用历史生成图片更新判别器,使得生成真实化图片的同时保留输入图像特征。实验结果展示该方法可以生成高度真实化的图片。研究者通过训练凝视估计模型、手部姿态估计模型定量分析生成图片的效果,分析结果表明,使用生成图片训练的模型,在MPⅡGaze数据集上测试效果有很大的提升,达到了当时最好的效果。不过,研究者并未在包含多个物体的复杂场景下进行实验,文中提出的方法在复杂场景下的应用还存在局限性。     

基于伪标签和迁移学习的双关语识别方法

针对双关语样本短缺问题,研究提出了基于伪标签和迁移学习的双关语识别模型(pun detection based on Pseudo-label and transfer learning)。该模型利用上下文语义、音素向量和注意力机制生成伪标签;然后,迁移学习和置信度结合挑选可用的伪标签;最后,将伪标签数据和真实数据混合到网络中进行训练,重复伪标签标记和混合训练过程。一定程度上解决了双关语样本量少且获取困难的问题。使用该模型在SemEval 2017 shared task 7以及Pun of the Day数据集上进行双关语检测实验,结果表明模型性能均优于现有主流双关语识别方法。     

基于探地雷达的沥青路面内部病害快速识别

为了提高沥青路面内部病害的检测精度及效率,开展了路面探地雷达(GPR)图像的自动识别研究．采用三维探地雷达(3D-GPR)设备高效、无损地探测沥青路面内部结构,以获取海量3D-GPR图像数据;通过多维度GPR图像辨识内部病害(横向裂缝和层间不良)的回波特征,矩形框准确标注纵断面GPR图中病害特征,进而构建内部病害回波特征GPR图像数据集(训练集、验证集和测试集);基于深度学习技术,引入YOLOv4(you only look once version 4)算法模型,首先利用训练集和验证集完成模型网络参数的迭代更新,然后利用测试集进行模型综合检测性能评估．研究结果表明：YOLOv4模型在测试集上测试的综合检测精度大于95%,并且其检测视频的每s帧数也超过30;而层间不良的回波特征相对内部横向裂缝识别更加准确;该模型可以实时、高精度自动识别出沥青路面GPR图像中病害回波特征．     

基于关系模式与深度强化学习的DS数据去噪模型

远程监督(Distant Spervision，DS)数据集中存在大量错误标注的数据，而现有的DS数据集去噪方法通常只考虑针对具有标签的数据进行去噪，没有充分利用无标签数据，导致去噪效果不佳。本文提出一种新型DS数据去噪模型——Pattern Reinforcement Learning Model (PRL模型)：首先利用基于关系模式的正样例抽取算法提取DS数据集中高质量的有标签数据；然后利用Filter-net作为分类器，提取DS数据集中高质量的无标签数据；最后将高质量的有标签数据和无标签数据作为深度强化学习(Reinforcement Learning，RL)方法的训练数据集，获得去噪效果更好的远程监督数据集。将PRL模型应用于New York Times(NYT)数据集，并以去噪后的数据集来训练PCNN+ONE、CNN+ATT、PCNN+ATT 3个模型。实验结果表明，经过PRL模型对数据集进行去噪后，这些模型的性能得以提升。因此，PRL模型是一种轻量的数据去噪模型，可以提升基于深度神经网络模型的性能。     

基于弱监督的VGG深度学习网络遥感影像云检测

大多遥感影像云检测方法中,训练数据需要对影像的每个像素进行标记,标记成本非常昂贵,为了减轻深度学习遥感影像云检测中人工劳动标记数据的成本,图像块标签代替像素标签进行深度学习训练。首先,将多种下垫面的遥感影像裁剪成图像块并标记,带有标签的图像块作为数据集;其次,块状的数据集训练改进VGG深度学习网络,训练好的网络对大型遥感影像进行云检测;最后,选取多种中分辨率卫星图像分别用改进VGG与VGG网络进行了云检测对比实验。结果表明：改进VGG遥感影像云检测方法能很好地检测出碎云和厚云,整个云区的精度都在90%以上。使用带标签的图像块,不仅减少了人工劳动,而且有效地进行遥感影像云检测,可为弱监督深度学习的遥感影像相关研究提供参考。     

半监督条件下的贝叶斯估计辐射源指纹特征识别

针对传统辐射源指纹识别过程中测试数据间的相关性往往被忽略,同时非合作条件下辐射源信号的识别训练标签数据不足的问题,提出了一种半监督条件下的贝叶斯估计辐射源指纹特征识别算法.首先,针对训练数据集不足的问题,在训练特征集提取阶段,利用半监督条件下的贝叶斯估计算法将有标签训练数据和无标签测试数据同时用于特征学习,以获取更为鲁棒的训练特征集.其次,为了有效利用测试数据之间的相关性,在测试特征集识别阶段,利用测试特征集与训练特征集的联合表征模型,将测试数据之间的相关性考虑在内,以提高识别算法的鲁棒性.实验结果表明:该算法在训练样本较少的情况下,依然可以获得较为鲁棒的分类识别效果.     

基于公共特征空间的自适应情感分类

针对情感分类这一项从文章或句子中得到观点态度的任务,常规情感分类模型大多需要耗费大量人力获取标注数据.为解决某些领域缺乏标注数据,且其他领域分类器无法在目标领域直接使用的现状,设计了一种新颖的基于构建公共特征空间方法,使分类模型可从有标注领域向无标注领域进行迁移适应,减少人工标注的成本开销,实现情感分类的领域自适应.该方法以大规模语料下预训练的词向量信息作为以词为元素的特征,在同种语言中表达情感所采用的句法结构相似这一假设前提下,通过对领域内特有的领域特征词进行替换的方式构建有标注数据集与无标注数据集基本共有的公共特征空间,使有标注数据集与无标注数据集实现信息共享.以此为基础借助深度学习中卷积神经网络采用不同尺寸卷积核对词语不同范围的上下文特征进行抽取学习,进而采用半监督学习与微调学习相结合的方式从有标注数据集向未标注数据集开展领域自适应.在来自京东与携程共5个领域的真实电商数据集上进行实验,分别研究了领域特征词选择方法及其词性约束对领域间适应能力的影响,结果表明:相较于不采用领域适应的模型,可提升平均2.7%的准确率;且在来自亚马逊电商的公开数据集实验中,通过与现有方法进行对比,验证了该方法的有效性.     

基于ResNet-50的级联注意力遥感图像分类

知识蒸馏能提高神经网络的泛化能力，可解决遥感图像场景分类时标注数据不足的问题。遥感图像存在的类间高相似性会导致中间知识特征丢失，针对该问题，本文提出一种基于自蒸馏级联注意力机制的特征提取方法(SDCASA)。首先构造权值共享的教师、学生网络；然后使用级联注意力模块精细化深层教师网络所提取到的特征，同时保留被浅层神经网络过滤的中间边缘信息；再利用精细化之后的特征指导学生网络学习；最后在下游训练一个线性分类器完成特征分类。在3个公开数据集AID、MLRSNet、EuroSAT上使用20%和50%的样本训练，分类准确率分别达到85.17%、90.10%、 91.13%和85.50%、92.13%、91.17%。此方法能有效提高遥感图像场景分类准确率，性能优于主流自监督图像分类方法 SimSiam、SwAV、MoCov2、Deepcluster,具有良好的应用价值。     

基于对比学习的暴力检测算法研究

针对现有暴力检测模型实际部署中存在数据标注成本高,提出基于对比学习的半监督模型训练框架,利用对比学习训练模型的表征能力,对比样本采用基于速度和基于全局和局部对比生成方式,对比框架在大量正负样本对比基础上增加正例样本间对比数量,同时利用伪标注对模型进行微调。实验结果显示,对比学习能够帮助模型在RWF2000和RVLS 5%训练数据下提升了3.9%,2.55%准确率,微调阶段能在RWF2000 25%训练数据下帮助模型进一步提升约3%准确率。     

基于伪标签-1D DenseNet-KNN的光伏阵列开集复合故障诊断方法

提出了一种基于伪标签-1D DenseNet-KNN的光伏阵列故障诊断方法,实现在少标签样本下的光伏阵列复合故障开集识别。首先,分析了各种常见单一故障及灰尘覆盖下复合故障的I-V曲线特性。然后,为了克服常规的半监督机器学习算法需手动提取数据特征,采用一种伪标签与1D DenseNet相结合的半监督方法自动提取特征。最后,将对训练数据提取的特征、训练数据预测的标签及测试样本提取的特征输入K最近邻（KNN）算法进行开集复合故障诊断。实验表明,该方法不仅能准确分类各种已知类样本,而且能识别出未知类别故障,并且模型的训练仅需少量标签数据。     

基于稀疏自编码神经网络的抽油机井故障诊断

针对传统示功图识别方法对抽油机井进行故障诊断存在人工选取示功图几何特征,识别准确度低等问题,提出一种基于稀疏自编码神经网络的示功图智能识别模型。采用无监督学习方式的稀疏自编码器构建特征学习网络自动提取无标签示功图训练集图像特征,然后采用有标签示功图训练集对softmax分类器进行有监督训练,最后通过稀疏自编码神经网络对学习到的有标签示功图测试集特征进行分类并给出故障诊断结果。结果表明,将稀疏自编码神经网络应用于示功图识别,测试准确度能够达到99.44%,优于其它分类模型。稀疏自编码神经网络直接从像素层面提取所需要的特征,不需要人为选定设计特征,为提高示功图识别准确度提供了帮助,进而解决了抽油机井故障难以准确诊断的难题。     

基于生成对抗网络结合Transformer的半监督图像增强方法

针对成对数据集获取成本较高、光照分布不均衡图像增强效果欠佳以及增强结果易产生十字形伪影的问题,提出了一种基于生成对抗网络结合Transformer的半监督图像增强方法。首先,采用Transformer网络架构作为生成对抗网络中生成器的主干网络,提取不同像素块间的依赖关系以获取全局特征,并通过非成对数据集进行半监督学习;其次,使用灰度图作为生成器网络的光照注意力图,以平衡增强结果在不同区域的曝光水平;最后,在生成器和鉴别器网络中交叉使用均等裁剪策略和滑动窗口裁剪策略,增强网络提取特征的能力并解决十字形伪影问题,并引入重建损失来提高生成器对图像细节的感知能力。结果表明：提出方法取得了更好的光照和色彩平衡效果,自然图像质量评估指标平均提升了2.37%;在图像修饰任务中,图像峰值信噪比、相似结构度和感知损失同时达到了最优;在低光照增强任务中,图像峰值信噪比提升了13.46%;充分验证了提出方法在图像增强2个子任务上的有效性。     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

基于半监督学习的即时语音通信隐藏检测

传统即时通信隐藏检测方法主要采用基于监督学习的检测方式,导致部署前需大量复杂的人工预处理,同时训练数据集与测试数据集分布的差异会影响检测的准确率。针对以上问题,该文首先重点针对即时语音通信隐蔽信道提出了一种全新的半监督混合式检测模型,该模型不存在人工挑选与标注训练数据集的过程,解决检测操作人工预处理复杂和适用性差的问题;然后设计了基于自学习的多准则融合模块,用于自行生成伪标注数据集,其可信度和代表度共同决定了即时语音通信隐藏检测系统的性能,且不存在语音通信隐藏检测中训练与测试集分布失配的情况;最后针对即时语音通信中常见的低码率语音流载体进行实验分析,在失配状况下基于有监督的检测方法以及无监督检测方法相比,其准确率具有明显优势;当训练样本与测试样本的分布不匹配时,该方法相比有监督的检测方法所受的影响更小。同时,实验显示该方法可以适用于多种编码检测过程。