多尺度特征融合的图像语义分割

针对多尺度下的目标分割问题,提出了一种多尺度特征融合的图像语义分割方法.该方法改进了空洞空间金字塔池化(ASPP)模块,采用6种不同采样率空洞卷积并行架构增强了对输入图像信息的提取,该模块可以获取多尺度的卷积特征,从而进一步增强图像分割能力.通过在PASCAL VOC 2012数据集上进行训练和验证,达到了82.0%的平均像素准确率和71.9%的平均交并比.实验结果表明:通过改进空间维度上的ASPP模块,该方法可以达到良好的图像语义分割效果.     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于注意力机制的人像分割方法

注意力机制能够挖掘与任务密切相关的重要信息并抑制非重要信息，在语义分割的深层特征表示中发挥着越来越重要的作用。本研究基于广泛应用的U-Net模型，提出了一种基于注意力机制的神经网络模型，针对边缘分割模糊的问题，将U-Net的压缩路径和扩展路径中的双卷积替换为卷积核选择模块，该模块允许网络的每一层根据输入信息进行自适应调整接受野的大小；另外，针对人像分割网络存在不同尺度的全局上下文信息被忽略的问题，采用多尺度预测融合的方法来利用不同尺度的全局信息，并采用双注意力模块汇总空间和通道两方面的注意力信息。大量实验表明，本文中方法的性能与U-Net、UNet++和Attention U-Net等网络相当或更好。     

基于边缘感知和小样本学习的多尺度带钢表面缺陷分割方法

深度全卷积语义分割网络能够提供像素级带钢表面缺陷检测,对于带钢质量控制具有至关重要的作用。但是这类模型大多无法感知缺陷边缘,而且性能往往严重依赖大量精确标注的标签样本,严重影响其实际应用。为了解决以上困难,提出了一种基于边缘感知和小样本学习的多尺度带钢表面缺陷语义分割网络。该网络由两个级联的子网络组成。第一个子网络首先利用改进的一次性聚合模块和特征金字塔注意力模块构建编码器,提取多层级和多尺度特征并降低训练所需的数据量。然后将一系列全局注意力上采样模块作为解码器实现高级特征指导低级特征复原空间信息,并输出初步预测结果。第二个子网络利用一个浅层U-Net对第一个子网络获得的初步预测结果进行细化并增强边缘检测能力。东北大学热轧带钢表面缺陷数据集上的实验证明了该方法对夹杂、斑点和划伤等表面缺陷自动提取的可行性和有效性。     

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network (GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F₁分数、AUC值分别达到了0.963 1、0.848 8和0.981 2,与GT U-Net模型相比,F₁分数、AUC值分别提升了0.35%、0.21%;与其他当前主流...     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

采用双支路和Transformer的视杯视盘分割方法

视网膜血管复杂且背景与视杯视盘区域相似,是造成视杯视盘分割精度不高的原因。为了更加准确地分割视杯视盘,设计了一种具有双支路特征融合的分割网络。网络主支使用Transformer对特征进行提取,弥补了卷积运算在建立远程关系方面存在的不足。采用多个模块来融合浅层空间特征与高级语义特征：尺度感知-特征融合模块(SCA-FFM)用于从高层次特征中收集视盘和视杯的语义和位置信息;识别模块(IM)利用注意力机制减少低层次特征中存在的错误信息和噪声,增强空间细节特征的提取;使用图卷积域-特征融合模块(GCD-FFM)将高级语义特征和低级特征进行融合,使特征图同时具有全局和局部信息。对比实验表明,本文方法表现出更好的分割效果,且具备良好的泛化能力。     

基于自适应融合的实时车辆检测

针对传统的车辆检测技术检测速度慢和精度低的问题,提出了一种融合注意力的自适应金字塔网络的交通目标检测算法（fusion attentiont adaptive pyramid network,FAAP-Net）,可以显著降低交通事故的发生率。为了降低计算复杂度,设计了一种轻量级的互补池化结构（CPS）,该结构在宽度和高度上采用了两组不同的池化组合,在保持高精度的同时,显著降低了网络的浮点运算数（GFLOPs）和参数量。为了解决智能交通系统特征图生成过程中的信息损失问题,通过将自适应注意力模块（AAM）和特征增强模块（FEM）引入自适应融合特征金字塔网络（AF-FPN）,以融入车辆检测的形状特征。针对车辆细节特征表征弱的问题,引入了一种按通道维度分组的注意力（SA）机制,以增强主干网络对不同车辆检测细节特征的关注,有效提取车辆细节的显著特征。在BDD100K数据集上的实验结果表明,FAAP-Net算法相比于传统算法,平均精度从30.3%提升到43.7%。     

多尺度定位信息增强的图像全景分割方法

经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升.为此,通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高实例分支的AP评价指标.在语义分支中引入克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高.此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性.     

基于感知注意力和轻量金字塔融合网络模型的室内场景语义分割方法

针对实验室场景理解时存在背景复杂、光照多变等问题，利用RGB信息与深度信息在场景理解中具有互补性的特点，提出了一种感知注意力和轻量空间金字塔融合的网络模型（Perception Attention and Lightweight Spatial Fusion Network,PLFNet）。在该模型的感知注意力模块中，利用RGB图像与深度图像在网络中的权重不同，以加权的方式实现深度信息对RGB信息的多级辅助；在轻量空间金字塔池化模块中，通过增加级联的空洞空间卷积，不但有效地聚集了多尺度特征，而且比传统空间金字塔池化模块的参数量减少了约92%，使RGB信息和深度信息的融合更充分。在两个室内场景公开数据集上的实验结果表明，该模型的表现均优于经典算法。消融实验结果表明，本文模型添加感知注意力模块和轻量空间金字塔池化模块后，平均交并比分别提高了4.3%和3.5%。最后，利用场景较复杂的生物实验室数据集进行测试，结果表明本文模型可以有效地实现对生物实验室的场景理解。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

基于多尺度特征的视盘分割方法

针对视盘、视杯分割任务中,由青光眼病变引起目标大小显著变化导致的错误分割问题,提出一种使用更轻量级的编码器-解码器网络,并引入金字塔池化模块,通过网络丰富的感受野捕捉更多上下文特征,丰富尺度特征,充分利用全局信息.在数据集RIM-ONE v.3上进行多组对比实验和评估,实验结果表明,该方法对视盘分割的平均交并比为0.908, Dice系数为0.958,均方误差为0.002,比现有算法各项指标性能均有提高.     

HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。     

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

基于改进I-Attention U-Net的锌浮选泡沫图像分割算法

针对泡沫图像的高度复杂性导致其难以被准确分割的难题,本文提出了一种新的I-Attention U-Net网络用于泡沫图像分割.该算法以U-Net网络作为主干网络,使用Inception模块替换第一卷积池化层来提取泡沫图像的多尺度、多层次浅层特征信息;引入金字塔池化模块,通过对不同尺度的特征图求和来提升分割效果;并对自注意力门控单元进行改进,使注意力单元更适合于浮选泡沫图像的分割,强化深层特征的重要性并对不同尺寸的泡沫边界进行强化学习.研究结果表明：本文所提出算法的Jaccard系数为91.73%,Dice系数为95.66%.与同类其他分割算法结果相比,Jaccard系数及Dice系数分别提高了1.59%、0.88%.该模型能够较好地对锌浮选泡沫图像进行分割,解决欠分割与过分割的问题,为后续的泡沫特征提取奠定基础.此外,该方法检测时间和模型参数少,具备可以部署在工业现场计算机的能力,有一定的实际应用价值.