基于域适应对抗网络的眼底图像联合分割方法

由于数据集之间存在域偏移问题,基于深度学习的语义分割网络在不同数据集之间进行视盘视杯分割性能存在很大差异,这使得不同的医学站点之间进行精确的图像分析和诊断具有一定的挑战性。针对这一问题,提出了一种U-Net结合域对抗网络(domain adversarial via U-Net network, DAUNet)的无监督域适应视盘视杯联合分割方法,并在视盘视杯分割领域取得了不错的性能。首先,利用对抗思想结合目标数据先验特征信息生成与目标数据集相似的数据,预先调整网络参数;其次,通过对抗学习源域和目标域的域变特征,从而降低域偏移的影响,提高分割性能。在REFUGE、Drishti-GS和RIM-ONE-r3共3个数据集之间进行跨数据集的域适应实验和消融实验。实验结果表明,DAUNet网络在以REFUGE作为源域,RIM-ONE-r3作为目标域上视杯的Dice系数,视盘的Dice系数和CDR的绝对错误率分别为0.648 6、0.789 8、0.072 5,优于CADA的分割结果。在消融实验中,视盘分割和视杯分割在有对抗下分别优于无对抗8.00%、4.59%。提出的U型域对抗网络综合了U-Ne...     

基于双分支交互的实时语义分割算法

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation, BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM）提取多尺度上下文特征,以...     

基于多尺度特征的视盘分割方法

针对视盘、视杯分割任务中,由青光眼病变引起目标大小显著变化导致的错误分割问题,提出一种使用更轻量级的编码器-解码器网络,并引入金字塔池化模块,通过网络丰富的感受野捕捉更多上下文特征,丰富尺度特征,充分利用全局信息.在数据集RIM-ONE v.3上进行多组对比实验和评估,实验结果表明,该方法对视盘分割的平均交并比为0.908, Dice系数为0.958,均方误差为0.002,比现有算法各项指标性能均有提高.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法.该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进.使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融...     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

融合金字塔切分注意力模块的视杯视盘分割

视杯和视盘的垂直直径比是青光眼在临床诊断中的重要指标,为了更加准确地测量杯盘比,针对视网膜眼底图像中的视盘和视杯分割精度的问题,提出了一个改进后的端到端的U型卷积神经网络框架,采用Resnet 34作为新的编码部分,并在每一个编码层的末端引入金字塔切分注意力PSA模块以提取更多的有效特征信息。同时使用1×1卷积代替3×3卷积来简化解码结构,并且使用一个3×3卷积与一个通过跳跃连接的1×1卷积结构取代跳跃连接。该网络模型在内部数据集上完成训练后,在DRISHTI-GS数据集进行测试,对视盘和视杯的分割结果在Dice和IOU上分别表现为97.61%和95.32%,92.91%和86.75%,证明了该模型具有良好的泛化性。     

空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。     

基于上下文特征的视网膜血管分割算法

针对视网膜血管分布复杂且多变,提出一种基于上下文特征提取的视网膜血管分割算法。首先通过霍特林变换(Karhunen-Loeve, K-L)生成灰度图并经过预处理增强对比度。然后经过局部信息熵进行采样。该网络编码部分的多感受野残差编码模块在兼顾速度的同时对特征进行充分的提取。同时底部的特征融合模块由非对称融合非局部模块和非对称金字塔非局部模块两部分组成,用于融合图片的上下文特征。而解码部分由多个微型U型网络组成,保证将底层特征和高层映射特征有效融合并进行深层次的再提取。本文算法在血管分割的数字视网膜图像数据集(digital retinal image for vessel extraction, DRIVE)数据集进行仿真,准确率为96.45%,特异性为98.37%,敏感度为82.7%,实验结果表明能有效地分割视网膜血管。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于CTA图像的两阶段U-Net冠状动脉分割

基于CT血管造影(computed tomography angiography,CTA)图像的冠状动脉自动分割的挑战在于冠状动脉结构复杂、前背景分布严重不平衡,分割时易受冠状静脉和其他组织的干扰.提出了一种两阶段的冠状动脉分割算法,第一阶段采用具有密集特征提取和残差特征修正能力的3D DRU-Net进行分割,保证分割的召回率;在第二阶段提出2D双编码多特征融合U-Net(2D DEMFU-Net)进行细分割,先对原始图像和第一阶段分割结果分别进行特征提取,再采用密集跳跃连接融合两个分支上的多层次语义特征,进一步提高分割准确性.实验结果表明,提出的两阶段分割算法在CortArt2020数据集上的Dice相似系数、召回率和精确度分别优于3D U-Net网络3.83%,5.31%和2.23%.