基于DBNMI模型的海洋遥感影像自动标注方法

研究大规模海洋遥感影像管理的关键是缩小影像低层视觉特征与高层语义之间的鸿沟.针对海洋遥感影像中不同区域对语义相似性度量的贡献程度不同,提出一种基于深度信念网络多示例(deep belief networks multi-instance,DBNMI)的遥感影像语义自动标注模型.模型对初始输入遥感影像进行自适应分割,粗粒度划分海洋遥感影像背景区域和对象区域;对影像对象区域的低层视觉特征和高层语义概念间关系,利用深度信念网络模型进行自动建模;定量计算标注词间共现和对立的语义关系,改善图像标注结果.在公开遥感影像数据集上进行验证,实验表明所提出方法在标注精度上取得了较好效果.     

顾及区域信息的卷积神经网络在影像语义分割中的应用

高分辨率遥感影像在实际应用中得到广泛使用。高分影像语义分割方法的研究具有重要实际应用价值。近来基于深度卷积网络的遥感影像标注方法表现出了比传统方法更为优越的性能;然而由于其基于固定感受野大小的上下文信息获取方法没有显式利用像素间约束关系,导致同一地物内部语义标注结果不一致。基于同一区域内部像素属于相同类别概率较大的假定,试图引入图像区域内部语义标注一致性约束,以改善现有深度卷积神经网络描述上下文信息的能力。在现有全卷积网络模型基础上,利用卷积神经网络最后一层特征,引入一个表示区域内部像素特征一致性的损失函数;将该损失函数与softmax损失函数进行联合训练,得到网络模型参数。在ISPRS(国际摄影测量与遥感学会)的Vaihingen 2D语义标注数据集上,对提出的方法进行了实验验证,实验结果表明所提方法在大多数类别上取得了较现有卷积神经网络模型更优的分类结果,总体准确率达85.18%。提出的引入区域内部像素标记一致性的全卷积网络模型,可以有效捕捉区域内部像素特征一致性的上下文信息,能有效纠正全卷积网络模型在区域内部像素分类中的冲突,获得区域一致较好的分类结果,从而改善图像的语义标注效果。     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

一种基于深度学习的卫星遥感图像分割方法

近年来,基于深度学习的语义分割方法得到了广泛应用.本文针对实际遥感图像中的语义分割问题,为了减少网络参数和计算量,以及提高网络性能,提出了一个使用通道注意力机制的卷积神经网络(channel attention network,CA-Net).首先,对高分二号(GF-2)遥感图像进行预处理和数据标注,得到一个7分类数据...     

基于Segnet网络和迁移学习的全景街区影像变化检测

针对采用传统方法难以提高全景街区影像变化检测精度的问题,提出一种基于Segnet网络和迁移学习的全景街区影像变化检测方法。首先对数据集“TSUNAMI”进行预训练并对训练集进行分类归并;然后采用Segnet网络对全景街区影像进行语义分割,最后对语义分割结果进行差值运算,得到变化差异图并进行精度评价。实验选取两组全景街区影像,采用最大似然法、支持向量机方法(SVM,support vector machine)以及提出方法对这2组数据进行对比实验,第一组得到的精度分别为65.1%、72.1%和81.4%;第二组得到的精度分别为66.5%、70.6%、82.2%。实验结果表明提出的方法具有更高的变化检测精度,可为城市违章排查、灾后重建等提供技术支撑。     

基于深度神经网络的锈蚀图像分割与定量分析

为解决传统钢结构表面锈蚀检测中缺乏检测标准且锈蚀难以量化的难题,基于深度神经网络提出了一种新型锈蚀检测方法,通过对锈蚀图像进行语义分割来实现锈蚀区域的检测与定量分析.设计深度神经网络时采用"编码器-解码器"架构,将网络计算流程分为编码阶段(降采样)与解码阶段(上采样)两部分,最终得到与输入图像长宽一致的分割模板,用以表示每个像素点是否为锈蚀.采用了苏通大桥锈蚀数据集(包括锈蚀图像440张,图像分辨率为709×1067)训练网络并对其进行了数据增强,最终得到6156张经人工标注过的彩色图像,图像分辨率为256×256.网络训练经过50次循环总耗时约7 h,最终正确率可以达到训练集92. 55%和验证集90. 56%.此外还在原始锈蚀图像上进行检测,结果显示分割网络可以识别出图像中锈蚀区域的主体部分.为进行锈蚀的定量分析定义了"锈蚀面积"、"锈蚀率"、"总体锈蚀率"等评价指标,通过分割网络可以直接计算得到这些锈蚀区域的定量指标,为钢结构日常管理养护提供数据支撑.     

一种由粗至精的RGB-D室内场景语义分割方法

为了标注室内场景中可见物体,提出一种基于RGB-D数据由粗至精的室内场景语义分割方法.首先,利用分层显著度导引的简单线性迭代聚类过分割和鲁棒多模态区域特征,构建面向语义类别的超像素区域池,基于随机决策森林分类器判决各个超像素区域的语义类别,实现粗粒度区域级语义标签推断.然后,为了改善粗粒度级的语义标签,利用几何深度导引和内部反馈机制改进像素级稠密全连接条件随机场模型,以求精细粒度像素级语义标注.最后,在粗、细粒度语义标注之间引入全局递归式反馈,渐进式迭代更新室内场景的语义类别标签.2个公开的RGBD室内场景数据集上的实验结果表明,与其他方法相比,所提出的语义分割方法无论在主观还是客观评估上,均具有较好的效果.     

一种改进变换网络的域自适应语义分割网络

语义标签的人工标注成本高,耗时长,基于域自适应的非监督语义分割是非常必要的.针对间隙大的场景或像素易限制模型训练、降低语义分割精度的问题,通过分阶段训练和可解释蒙版消除大间隙图片和像素的干扰,提出了一种改进变换网络的域自适应语义分割网络(DA-SSN).首先,针对部分源图到目标图的域间隙大、网络模型训练困难的问题,利用训练损失阈值划分大间隙的源图数据集,提出一种分阶段的变换网络训练策略,在保证小间隙源图的语义对齐基础上,提高了大间隙源图的变换质量.然后,为了进一步缩小源图中部分像素与目标图域间间隙,提出一种可解释蒙版.通过预测每个像素在源图域和目标图域之间的间隙缩小置信度,忽略对应像素的训练损失,以消除大间隙像素对其他像素语义对齐的影响,使得模型训练只关注高置信度像素的域间隙.结果表明,所提算法相比于原始的域自适应语义分割网络的分割精度更高.与其他流行算法的结果相比,所提方法获得了更高质量的语义对齐,表明了所提方法精度高的优势.     

基于双任务一致性的半监督深度学习医学图像分割方法

【目的】医学图像分割是医学图像分析中的一个重要内容。现有的大部分图像分割算法都是基于监督学习,而实际应用中医学图像标签难以获取,大量标注需依赖领域专家,费时费力。因此,提出一种双任务一致性的半监督医学图像分割模型。【方法】该模型采用一个编码器,两个解码器的网络结构,其中编码器和一个解码器实现图像分割,与另一个解码器实现图像重建。无标签数据通过一致性分割与重建任务得到的两个不同图像背景计算损失并优化网络参数。同时在网络的编码器部分加入注意力模块以更好地获取分割区域的空间位置信息,并使用锐化操作增加无标签数据重建输出的置信度。【结果】在肝脏和细胞数据集上IOU分别为0.953 6和0.821 0,相较于U Net提高了1.5%和4.82%;在眼底血管数据集上,SP值为0.983 0,与第二名相比提升了0.18%。【结论】本文模型与有监督方法和半监督方法相比,在医学图像分割的有效性和泛化性上有一定的性能提升,能有效解决数据集数量少、小病灶分割难度大的问题。     

融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

基于语义分割深度学习的地基云图分割方法

随着深度学习技术的迅速发展,更复杂更先进的语义分割深度学习模型在地基云图检测分割任务中得到广泛研究和应用。首先开创性地对新发布的地基云图数据集进行整理概括;然后阐述了基于深度学习语义分割模型在地基云图分割方面的研究进展,详细地介绍了典型的语义分割网络模型;接着选取了部分优秀性能的语义分割模型在标准的数据集上训练和验证,系统性评估其在地基云图分割的性能,验证了语义分割模型在地基云图分割领域的适用性;最后提出对基于语义分割的自适应地基云图像素级分割研究的总结和展望。     

基于自监督学习方法的半监督视频目标分割研究

本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系进行建模;利用特征编码器学习到的特征对视频帧中的分割目标进行重建,进行下游的视频目标分割任务;最后,利用在线自适应模块对视频分割结果的错误进行修正。实验结果表明,本文的自监督方法在视频分割任务上的表现可以更加接近有监督方法的分割结果,采用记忆力机制和在线自适应模块可以大大提高视频目标分割的准确性。另外本文探究了数据有效性,当采用少量数据进行网络的自监督训练时,模型仍能取得较好的效果,意味着这个任务本身不需要大规模数据集中富含的复杂语义信息进行建模。     

基于部分监督学习的WEB日志数据预处理

针对采集自客户端的Web数据,提出了一种基于部分监督学习的数据预处理方法.首先分析了数据清理的主要任务和样本数据的基本特征,然后采用基于部分监督学习的方法完成数据清理工作.该方法有两个核心步骤:(1)基于规则的学习完成正例标注,即获得训练集中的正例;(2)建立SVM分类器完成测试集中的正例标注.     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于双向循环U-Net模型的脑卒中病灶分割方法

脑卒中具有极高致残率和致死率,研究脑卒中病变的自动识别和分割方法具有重要的临床意义。提出一种基于双向循环U-Net(BIRU-Net)模型的病灶分割方法。首先,引入循环神经网络结构,将改进的注意力卷积门递归单元(ACGRU)替代U-Net中的部分卷积层,使分割模型既适用于小规模标注的医学影像数据集,又具有长时记忆特性;其次,采用双路融合训练机制,将单一视面的正向、反向的切片数据同时输入BIRU-Net,并在模型前向传播过程实现双向特征融合,有效利用了切片序列的双向依赖特性。最后,将各单一视面的分割结果进行再融合,有效利用了数据的空间上下文信息。对于ATLAS数据集的实验结果表明,所提方法的DSC值达到了62.58%,与现阶段的其他方法相比,本文的方法能较为准确地分割出病灶区域。     

基于半监督多头网络的腰椎CT图像分割

针对医学图像分割任务中医学数据标注困难以及CT图像强度不均匀问题，提出一种基于半监督的多头分割网络SSMH-Net。SSMH-Net网络采用教师—学生训练架构，基于相同的分割模型V-Net,通过指数移动平均算法完成教师与学生模型的交互训练；采用Multi-Head方法估计模型预测的不确定性信息，指导分割模型在更可靠的目标中学习。在CTspine分割数据集上，SSMH-Net网络平均分割Dice系数达到95.70%,表现出较为优异的分割性能。     

基于概率主题建模的图像语义学习与检索

针对图像检索中存在的“语义鸿沟”问题,本文提出一种语义学习模型进行图像的自动标注.首先提出连续的概率潜在语义分析(PLSA)模型及对应的参数估计算法,并利用最大惩罚似然的方法解决协方差矩阵的奇异性问题;然后,提出一个根据不同模态数据各自的特点进行处理的概率模型,该模型使用连续PLSA和传统PLSA分别建模视觉特征和文本关键词,并通过不对称学习算法发现两种模态之间共有的语义主题,从而能更精确地对未知图像进行标注.通过在分别包含5 000幅和31 695幅图像的两个标准Corel数据集上进行实验,并与几种典型的图像标注方法进行比较的结果表明,文中方法具有更高的精度和更好的效果.     

基于多重注意力机制的高分辨率遥感影像语义分割

针对当前深度神经网络在处理遥感影像语义分割过程中存在的模型庞大、处理耗时长、实时性低、小目标分割准确率不高的问题,提出了一种嵌入多重注意力机制的Multi-AttnDeepLabv3+(Multiple Attentionbased on DeepLabv3+)语义分割模型.该模型在编码部分使用轻量神经网络作为主干特征提取网络,加入混合注意力机制增强重要特征通道和空间像素的权值比重;在解码部分,在特征融合过程中加入通道压缩激活注意力模块,通过压缩激活操作再次增强重要特征通道的权重,提升模型分割准确率.该模型在多个数据集上取得较好的实验结果 .在相同条件下,此模型训练速度较传统网络模型有明显提升.与同类型轻量级语义分割模型相比,该模型在提升分割效果上具备优势.     

用于高分辨率遥感影像地类识别的Deeplabv3+改进模型

在高分辨率遥感影像地类识别上,语义分割网络Deeplabv3+表现优异,但是所需参数非常多,训练时间久。遥感影像中的地类与普通RGB图片中的对象相比颗粒度非常大,其具有更显著的特征以及更少的类别,并不需要过深过大的网络。因此,文中提出了一种基于轻量级网络的语义分割模型(Thin-Deeplabv3+),对Deeplabv3+的编码器进行了改进,利用轻量级膨胀网络(Light and Dilated Network, LDNet)提取输入遥感影像的特征,然后利用膨胀系数分别为2、12、24和36的空洞空间金字塔池化(Atrous Spatial Pyramid Pooling, ASPP)模块加强特征提取。在高分遥感影像数据集(Gaofen Image Dataset, GID)以及DeepGlobe土地覆盖分类挑战数据集(DeepGlobe Land Cover Classification Challenge, DLCCC)上的实验结果表明,Thin-Deeplabv3+的识别精度高于Deeplabv3+,并且所需参数仅约为Deeplabv3+的1/10。     

基于混合神经网络的脑部MRI图像语义分割算法

针对传统医学图像对缺乏标注的数据进行自动分割时存在分割精度不高、边缘模糊等问题,提出了一种利用混合神经网络对脑部核磁共振成像(magnetic resonance imaging,MRI)的图像进行语义分割的算法。利用仿射网络对脑部MRI图像进行线性几何变换,基于卷积神经网络进行3D医学图像仿射变换,加入稠密模块减轻梯度消失和加强特征传递问题; 通过空间转换网络对脑部MRI进行空间转换,基于图谱的分割法获得脑部图像的分割结果。采用MICCAI的公共数据集BraTs2019进行实验验证,结果表明,算法可由脑部肿瘤MRI图像获得较好的分割精度和分割效率,为脑部MRI图像语义分割的研究提供一种新的实验方案。