融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20ⁱ数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

融合金字塔切分注意力模块的视杯视盘分割

视杯和视盘的垂直直径比是青光眼在临床诊断中的重要指标,为了更加准确地测量杯盘比,针对视网膜眼底图像中的视盘和视杯分割精度的问题,提出了一个改进后的端到端的U型卷积神经网络框架,采用Resnet 34作为新的编码部分,并在每一个编码层的末端引入金字塔切分注意力PSA模块以提取更多的有效特征信息。同时使用1×1卷积代替3×3卷积来简化解码结构,并且使用一个3×3卷积与一个通过跳跃连接的1×1卷积结构取代跳跃连接。该网络模型在内部数据集上完成训练后,在DRISHTI-GS数据集进行测试,对视盘和视杯的分割结果在Dice和IOU上分别表现为97.61%和95.32%,92.91%和86.75%,证明了该模型具有良好的泛化性。     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

结合特征融合和金字塔注意力的场景文本检测

基于深度学习的场景文本检测普遍缺少特征级的精细化,导致原本设计良好的模型不能被充分利用,提出将特征融合和特征金字塔注意力模块应用到场景文本检测.将基本特征提取网络(PixelLink算法)得到的4个特征映射层以采样后加权叠加的方式进行特征融合,并将结果送给特征金字塔注意力模块.特征融合使各层级的特征信息相结合,从而增加...     

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

基于多重注意力机制的高分辨率遥感影像语义分割

针对当前深度神经网络在处理遥感影像语义分割过程中存在的模型庞大、处理耗时长、实时性低、小目标分割准确率不高的问题,提出了一种嵌入多重注意力机制的Multi-AttnDeepLabv3+(Multiple Attentionbased on DeepLabv3+)语义分割模型.该模型在编码部分使用轻量神经网络作为主干特征提取网络,加入混合注意力机制增强重要特征通道和空间像素的权值比重;在解码部分,在特征融合过程中加入通道压缩激活注意力模块,通过压缩激活操作再次增强重要特征通道的权重,提升模型分割准确率.该模型在多个数据集上取得较好的实验结果 .在相同条件下,此模型训练速度较传统网络模型有明显提升.与同类型轻量级语义分割模型相比,该模型在提升分割效果上具备优势.     

基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。     

基于双分支交互的实时语义分割算法

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation, BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM）提取多尺度上下文特征,以...     

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割. PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中,可获取更多的特征信息,从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明,与当前先进网络模型相比,PS-UNet在所有实验中,性能均有所提升,其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.     

基于改进BiSeNet的室内障碍物图像语义分割方法

针对室内机器人行驶场景中存在大量不规则形状障碍物及细小类障碍物的问题,提出一种基于改进双边分割网络(BiSeNet)的图像语义分割方法．即以BiSeNet为基础网络构建图像分割模型,一方面在其空间路径中融合可变形卷积,使其更加适应对可通行区域和水渍这类不规则形状目标的定位分割;另一方面在其语义路径中结合特征金字塔结构,提高对细小类障碍物的分割精度;最后在室内多类障碍物图像数据集上,将改进的BiSeNet算法与U-Net,PSPNet等算法进行对比实验,结果显示改进的BiSeNet算法对水渍类障碍物的分割像素准确率达到89.95%,比原BiSeNet算法分割精度提高约3.50%,与UNet,PSPNet等算法相比,改进的BiSeNet算法同样具有更高的分割精度．     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

基于融合路径监督的多波段图像语义分割

可见光成像在夜间或恶劣天气情况下易受光照影响,降低了语义分割系统的性能,而同时使用可见光/红外多波段成像传感器则可以缓解这个问题.提出了一种基于融合路径监督的多波段图像语义分割方法,在网络训练过程中直接对特征融合过程进行类别监督.首先,将分割网络中独立的特征融合模块组建为贯通的融合支路,利用高层特征指引低层特征融合;其...     

基于多视角融合的医学图像分割方法研究

提出了一种基于变换器的多视角医学图像融合分割框架,通过采用一种发散融合的注意力模型来建模跨视图信息,充分挖掘语义之间的相互依赖,解决了不同视图之间的数据不对齐以及难以捕捉长距离相关性等关键问题。同时使用多尺度注意力机制来提取多尺度的全局特征。在Cardiac MRI数据集上分别评估了多疾病、多视角和多中心的右心室分割任务,验证了该方法具有更优的分割性能。     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法.该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进.使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融...     

基于多尺度特征和反向注意力的肝脏肿瘤自动分割方法

肝脏肿瘤分割旨在定位肝脏肿瘤区域,以辅助医生进行精准诊治。鉴于深度学习能自动学习医学图像中复杂的特征和结构,已成为肝脏肿瘤分割的主流方法之一。但肝脏肿瘤的大小、形态存在显著差异及边缘模糊等问题,限制了深度学习模型的分割性能。基于此,该文提出了一种融合多尺度特征和反向注意力机制的深度网络,并用于肝脏肿瘤的自动分割。具体地,基于U-Net模型的框架,分别设计了多尺度特征提取模块和基于深度监督的反向注意力模块,使得网络能根据分割目标的大小自适应地选择不同尺度的特征,并引导网络关注分割目标的边缘特征,进而提高网络的边缘分割能力。此外,设计了一种新的混合损失,以解决医学图像分割中的类别不平衡问题。最后,在MICCAI2017 LiTS挑战赛数据集的数值实验结果表明,所提方法的Dice系数、平均对称表面距离ASSD分别为76.12%和3.25 mm。