融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20ⁱ数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于上下文情景结构的图像语义分割

语义分割的目标是对图像进行像素级分类并分割为表示不同语义的区域,以便实现对更复杂场景的分析及理解。考虑到更大的卷积核对目标的定位及分割都有促进作用,故提出的网络里使用了一种基于上下文情景结构层(contextual structure)的卷积神经网络,既增大了感受野的范围,同时解决了增大传统卷积核带来大量参数的问题。自然图像中的目标往往具有不同的尺度和纵横比,提取丰富的细节信息和上下文信息对于像素级的预测至关重要。提出的网络同时实现了多尺度特征的提取,从规模较小区域到规模较大区域,再到完整目标,可以有效提取局部信息和全局信息,达到分割多尺度目标的效果。实验中使用PASCAL VOC 2012数据集对提出的方法进行评测,在综合考虑算法复杂度以及运行时间效率的基础上,提出算法取得了更好的实验结果。     

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题,利用RGB信息与深度信息在场景理解中具有互补性的特点,提出了一种感知注意力和轻量空间金字塔融合的网络模型（Perception Attention and Lightweight Spatial Fusion Network,PLFNet）。在该模型的感知注意力模块中,利用RGB图像与深度图像在网络中的权重不同,以加权的方式实现深度信息对RGB信息的多级辅助;在轻量空间金字塔池化模块中,通过增加级联的空洞空间卷积,不但有效地聚集了多尺度特征,而且比传统空间金字塔池化模块的参数量减少了约92%,使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明,该模型的表现均优于经典算法。消融实验结果表明,本文模型添加感知注意力模块和轻量空间金字塔池化模块后,平均交并比分别提高了4.3%和3.5%。最后,利用场景较复杂的生物实验室数据集进行测试,结果表明本文模型可以有效地实现对生物实验室的场景理解。     

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割. PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中,可获取更多的特征信息,从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明,与当前先进网络模型相比,PS-UNet在所有实验中,性能均有所提升,其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.     

空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

考虑局部归一化高度的双分支语义分割网络

归一化数字表面模型是表征地物高度、辅助遥感影像分类的重要特征,但是其片状、精度不稳定的特性制约了分类精度的提升.针对这个问题,该文提出了一种考虑局部归一化高度的双分支输入语义分割网络,一方面设计了一种双分支输入结构,分别提取地物的光谱特征和几何特征,并通过跳跃连接进行特征融合以充分学习地物多模态信息;另一方面提出了一种新的地物高度表征方法,结合深度神经网络受GPU显存限制只能处理较小区域影像的特点,在输入的数字表面模型局部区域内计算高度特征.最后通过在ISPRS标准数据集上对三种网络框架进行对比试验,证明了相较于仅使用光谱影像,该文方法总体精度提升了4.5%～4.7%,比使用归一化表面模型作为高度特征的分类方法具有更高的分类精度、计算效率和自动化程度.     

基于融合路径监督的多波段图像语义分割

可见光成像在夜间或恶劣天气情况下易受光照影响,降低了语义分割系统的性能,而同时使用可见光/红外多波段成像传感器则可以缓解这个问题.提出了一种基于融合路径监督的多波段图像语义分割方法,在网络训练过程中直接对特征融合过程进行类别监督.首先,将分割网络中独立的特征融合模块组建为贯通的融合支路,利用高层特征指引低层特征融合;其...     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

基于双分支特征提取的水下图像复原

水下成像的复杂性,严重影响图像质量.为解决水下图像存在的颜色失真、亮度底等问题,提出一种双分支水下图像复原模型.复原模型利用双分支特征提取架构提取水下图像不同层次,不同尺度的特征,实现提取特征的完整性;利用残差结构做中间特征处理环节,增强网络学习能力,提高训练速度;且在残差模块中引入空洞卷积以增大感知野,融合两个分支提...     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于多尺度注意力的皮肤镜图像自动分割算法

针对现有的皮肤镜图像分割算法存在边缘分割时效果较差和对中小目标的识别能力较弱等问题。本文提出了一种基于多尺度注意力融合的分割网络MAU-Net(Multi-scale attention U-Net)。MAU-Net网络是以U-Net网络为基础的分割模型,通过本文设计的多尺度注意力模块(MA),在特征提取时融合不同层次的特征,并将重要的目标特征给与一定的权重,从而使网络能更快和更精准的分割出目标区域。实验结果显示,在ISIC2017数据集上平均交并比(MIOU)、精确度(PRE)和kappa值分别为83.61%、93.58%和81.70%,性能比U-Net分别提高了5.27%、2.01%和6.83%;并在ISIC2017挑战赛数据集上进行了消融实验,实验结果验证了MA模型有助于网络性能的提升。本文提出的MAU-Net网络在皮肤病变分割任务中表现优异,同时具有良好的泛化性能。     

基于空洞卷积的人体实例分割算法

针对人体实例分割任务中存在着姿态多样和背景复杂的问题,提出了一种高精度的实例分割算法.利用Mask R-CNN算法特征融合过程中的细节信息,改善人体分割任务中边缘分割不精确的问题,提高人体分割精度.改进了特征金字塔的特征融合过程,将原有自顶向下的路径改为自底向上,以保留浅层特征图中更多的空间位置信息,并且在特征融合过程...     

基于注意力机制的双分支肺炎图像分类网络

目前许多肺炎图像分类网络大多采用单分支网络对输入图像进行特征提取,这在一定程度上忽略了图像不同维度的特征信息。为了优化这种问题,提出一种融入注意力机制的双分支肺炎图像分类网络,利用VGG16网络和加入可分离卷积以及融入卷积注意力模块(convolution block attention module, CBAM)的CNN卷积神经网络进行双分支特征提取,能够关注到肺炎图像不同层次的特征信息,将2种网络分支的特征进行不同维度的融合,最后输入全连接层进行分类判决。结果表明,该网络在正常肺部、病毒性肺炎、新型冠状病毒肺炎(COVID-19)X-ray图像组成的测试集上取得了95%的平均准确率。经过消融试验证明,该网络加入的可分离卷积模块、注意力模块和特征融合对减少网络参数、提高网络分类的准确率起到明显作用。与其他网络的性能对比也表明该网络在肺炎图像分类上表现出较高的准确率和较强的鲁棒性。     

基于混合神经网络的脑部MRI图像语义分割算法

针对传统医学图像对缺乏标注的数据进行自动分割时存在分割精度不高、边缘模糊等问题,提出了一种利用混合神经网络对脑部核磁共振成像(magnetic resonance imaging,MRI)的图像进行语义分割的算法。利用仿射网络对脑部MRI图像进行线性几何变换,基于卷积神经网络进行3D医学图像仿射变换,加入稠密模块减轻梯度消失和加强特征传递问题; 通过空间转换网络对脑部MRI进行空间转换,基于图谱的分割法获得脑部图像的分割结果。采用MICCAI的公共数据集BraTs2019进行实验验证,结果表明,算法可由脑部肿瘤MRI图像获得较好的分割精度和分割效率,为脑部MRI图像语义分割的研究提供一种新的实验方案。     

集间两级语义互补的小样本语义分割

现有的小样本语义分割模型通常只提取单一级别的语义特征,然而由于小样本数据的样本量少、各级语义特征具有不同属性等原因,提取单一级别语义特征的网络模型很难在保证分割能力的同时兼具泛化性.针对该问题,提出了一种集间两级语义互补的小样本语义分割方法 .该方法使用具有强类别特征的支持集高级语义特征对具备泛化性的查询集中级语义特征加权,在增强查询集各目标类别特征的同时保留查询集中级语义特征的泛化能力;另外,该模型通过最大化支持集潜在语义信息、为查询集构建非参数学习的先验信息等方式增强两集信息之间的交互性以获得更丰富的判别信息.该方法在PASCAL-5i数据集上进行仿真实验,mIoU值在1-shot和5-shot两类设置上分别能达到45.3%和48.8%,其结果超越部分先进主流的小样本语义分割算法,且网络模型的参数量也控制在可以接受的范围之内.     

基于多尺度特征和反向注意力的肝脏肿瘤自动分割方法

肝脏肿瘤分割旨在定位肝脏肿瘤区域,以辅助医生进行精准诊治。鉴于深度学习能自动学习医学图像中复杂的特征和结构,已成为肝脏肿瘤分割的主流方法之一。但肝脏肿瘤的大小、形态存在显著差异及边缘模糊等问题,限制了深度学习模型的分割性能。基于此,该文提出了一种融合多尺度特征和反向注意力机制的深度网络,并用于肝脏肿瘤的自动分割。具体地,基于U-Net模型的框架,分别设计了多尺度特征提取模块和基于深度监督的反向注意力模块,使得网络能根据分割目标的大小自适应地选择不同尺度的特征,并引导网络关注分割目标的边缘特征,进而提高网络的边缘分割能力。此外,设计了一种新的混合损失,以解决医学图像分割中的类别不平衡问题。最后,在MICCAI2017 LiTS挑战赛数据集的数值实验结果表明,所提方法的Dice系数、平均对称表面距离ASSD分别为76.12%和3.25 mm。