空间和通道注意力多级别特征网络图像语义分割

图像语义分割模型在提取特征的过程中由于不断的下采样使得空间位置丢失,分割效果较差,针对该问题,提出了融合空间和通道注意力多级别特征来构造学习网络的方法.首先针对具有高级别特征的语义信息路径引入了通道注意力模块,在预训练模型Resnet101提取的特征图上,显式地建模通道之间的相互依存关系,确定每层特征图上需要重点关注的...     

基于多尺度注意力的皮肤镜图像自动分割算法

针对现有的皮肤镜图像分割算法存在边缘分割时效果较差和对中小目标的识别能力较弱等问题。本文提出了一种基于多尺度注意力融合的分割网络MAU-Net(Multi-scale attention U-Net)。MAU-Net网络是以U-Net网络为基础的分割模型,通过本文设计的多尺度注意力模块(MA),在特征提取时融合不同层次的特征,并将重要的目标特征给与一定的权重,从而使网络能更快和更精准的分割出目标区域。实验结果显示,在ISIC2017数据集上平均交并比(MIOU)、精确度(PRE)和kappa值分别为83.61%、93.58%和81.70%,性能比U-Net分别提高了5.27%、2.01%和6.83%;并在ISIC2017挑战赛数据集上进行了消融实验,实验结果验证了MA模型有助于网络性能的提升。本文提出的MAU-Net网络在皮肤病变分割任务中表现优异,同时具有良好的泛化性能。     

基于特征自干扰与像素注意力机制的道路分割网络

主流网络在提取图片特征过程中易受其他目标干扰导致特征鲁棒性降低,而现有的基于噪声抗干扰机制有着伪特征与真实特征相似度不高这一劣势;注意力机制的运用可以提升道路场景特征的空间上下文关系从而增强特征的抗干扰能力,但现有的注意力机制缺乏像素级的特征筛选。针对上述问题提出了基于图像特征自干扰与像素注意力机制的道路分割网络,该网络分为主干分割网络和特征自干扰网络两部分,主干的分割网络包含像素注意力模块,可实现真实特征的提取和像素级的增强;自干扰网络输入原始图像随机裁剪和插值放大后得到的局部图生成伪特征,此外提出了融合模块用于实现伪特征与真实特征的融合并对主分割网络中间特征进行干扰。在KITTI和Cityscapes道路数据库上的实验表明：基于图像特征自干扰与像素注意力机制的分割方法与DeepLab V3分割方法相比,在KITTI数据集上的分割精度由88.02%提升至90.55%,在Cityscapes数据集上的分割精度由87.15%提升至90.16%。     

结合语义分割图的注意力机制文本生成图像

针对生成对抗网络生成图像存在结构不完整、内容不真实、质量差的问题,提出一种结合语义分割图的注意力机制文本到图像生成模型(SSA-GAN)。首先采用一种简单有效的深度融合模块,以全局句子向量作为输入条件,在生成图像的同时,充分融合文本信息。其次结合语义分割图像,提取其边缘轮廓特征,为模型提供额外的生成和约束条件。然后采用注意力机制为模型提供细粒度词级信息,丰富所生成图像的细节。最后使用多模态相似度计算模型计算细粒度的图像-文本匹配损失,更好地训练生成器。通过CUB-200和Oxford-102 Flowers数据集测试并验证模型,结果表明：所提模型(SSA-GAN)与StackGAN、AttnGAN、DF-GAN以及RAT-GAN等模型最终生成的图像质量相比,IS指标值最高分别提升了13.7%和43.2%,FID指标值最高分别降低了34.7%和74.9%,且具有更好的可视化效果,证明了所提方法的有效性。     

融合注意力空洞卷积和Transformer的矿石图像分割

在金矿研磨过程中,矿石粒度大小对后期黄金冶炼起着至关重要的作用,是一个不可忽略的关键参数。为解决图像分割中多数矿石表面不规则、棱角多,粘连等问题,通过结合注意力与多尺度空洞卷积的Vit Transformer模型研究了矿石图像分割。首先使用ResNet34作为下采样主干,增强对金矿石的特征提取能力;其次采用Transformer模块解决长距离依赖问题,融合复合通道注意力空洞模块提升网络对金矿石边缘特征的提取能力,提高了网络的抗干扰能力并扩大感受野。实验结果表明：本文算法准确率达到95.84%,Dice系数达到94.69%,交并比(IoU)达到90.39%,错误率低至7.83%。与其他算法对比,本文方法精度、Dice系数、IoU更高,可以较好地完成矿石图像分割任务。     

基于多维度特征提取网络的肝脏图像分割

随着计算机技术的发展,基于深度学习的医学图像自动分割已经成为人工智能辅助医疗的重要研究方向.为弥补现有神经网络结构对信息提取不足而产生的边缘细节丢失问题,构建了一种基于多维度特征提取网络(RDD-UNet)模型,该模型是基于残差UNet和混合损失函数的三维分割网络,以向肝脏肿瘤分割方法提供高精度的脏器分割结果.首先,该网络从原始CT数据的3个轴向提取信息,以长短跳跃连接的组合形式融合多尺度语义特征,保证了层内和层间信息的充分利用.其次,网络中设计了不平衡深度可分离空洞卷积模块,在提升三维网络计算效率的同时,扩大了体素级别的特征感受范围.最后,针对小尺寸分割目标数据不平衡问题提出了混合损失函数,并与深度监督结构相结合,提升了边缘细节的分割效果.该网络模型从体素、轴向和网络层级3个维度上充分提取特征信息,提高了肝脏分割的准确率,在公共数据集LiTS 2017上的Dice分数达到0.965 2,与其他方法相比达到了较高的精度水平.     

基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance, MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力,现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征,导致无法准确定位.为克服上述问题,本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法,构建了一个可以融合3维信息的2D模型,可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究,结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型,运算和推理时间相比3D模型小很多,性能却十分接近.     

基于Debseg-Net的岩屑图像语义分割

岩屑的岩性识别是地质工作中的一项重要内容。为解决传统人工鉴别岩性的低效问题和通用机器学习模型在岩屑岩性识别上的不适用性,包括准确率欠佳、网络参数冗杂、网络效率低下,针对岩屑图像的特征设计了一种岩屑图像的语义分割网络Debseg-Net,该网络采用编解码结构,卷积与转置卷积结合实现对岩屑图像特征的提取与像素级分类,采用深度可分离卷积减少参数量从而可进一步加深网络,使用跳级连接避免迭代过程中的信息丢失。同时提出了一种高效的岩屑图像自标记方法。经多次实验,Debseg-Net在10口探井收集的640张共计5类岩屑图像数据集上,识别准确率达到98.43%,平均交并比达到90.01%,领先同类型分割网络2.59%～7.04%,在实现数字化岩屑录井进程中提供了方法。     

基于多层次自注意力机制的U-Net图像分割算法

针对U-Net图像分割在下采样过程中会丢失过多信息且在上采样过程恢复效果不佳,从而导致图像分割精度降低的缺陷,提出了一种基于多层次自注意力机制的U-Net图像分割算法。该多层次自注意力机制在每一层上采样层前均嵌入自注意力模块,将上采样层的输入与缩放的原图拼接后处理成模板图,再与原本的输入信息融合后输出到上采样层。该算法不仅能通过拼接原图的自注意力模块进一步提供更多细节信息,还能利用上采样层的特征选择功能减少拼接原图带来的背景噪音,提高模型的分割精度。最后,在PASCAL VOC数据集和DeepFashion2数据集的基础上进行了人体分割和服装分割实验。实验结果 证明,该方法 能较好地改善图像的分割性能,从而证明了其正确性和有效性。     

基于区域特征的胃炎病理图像二值化分割方法

二值化图像侵害方法因方法简单、易于实现而得到广泛应用,文章提出了一种基于区域特征的二值化图像分割方法。实验表明,该方法针对胃炎病理图像能得到较好的效果。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20ⁱ数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于卷积神经网络的病理细胞核分割

针对病理图像中细胞核的精准分割问题,结合全卷积网络框架和高分辨率网络框架的特点,提出一种卷积网络对细胞核进行自动精准地分割;基于稀疏非负矩阵分解的方法将具有严重颜色分布差异的病理图像进行颜色分布归一化,以归一化后的图像为输入,利用所提出的卷积网络对细胞核进行分割;该网络通过减少下采样算子的使用,使图像信息在前向计算过程中不会过分丢失,并使用扩张卷积扩大深层神经元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理数字图像分割数据集中达到0. 848的平均dice分数;实验表明,融合全卷积网络框架和高分辨率网络框架的卷积网络在病理图像中实现了细胞核自动精准的分割,可以有效减轻影像医师的工作负担。     

基于图注意力和特征融合的链路预测方法

链路预测是一种还原网络缺失信息的方法,通过当前已观察到的链路,预测实际存在但未被观察到的链路或可能出现的新链路.当前链路预测主要是基于图神经网络的深度学习方法,相比基于规则的启发式方法,前者可有效利用网络拓扑结构信息,较大地提升了网络链路预测性能,并可应用到类型更广泛的网络中.但是现有基于图神经网络的方法,仅利用网络中节点相对位置信息,忽视了节点基本属性和链路的邻居信息,且无法区分不同节点对链路形成的重要程度.为此,本文提出一种基于图注意力网络和特征融合的链路预测方法.通过增加节点的度、链路的共同邻居数量和共同邻居最大度等特征,丰富了网络的输入特征信息.本文首先提取以目标节点对为中心的子图,然后将其转化为对应的线图,线图中的节点和原图中的链路一一对应,从而将原图节点和链路信息融合到线图的节点中,提升了特征融合的有效性和可解释性.同时本文使用图注意力机制学习节点的权重,增强了特征融合的灵活性.实验表明,本文所提出的方法,在多个不同领域数据集上的AUC和AP均超过90%,在已观测链路缺失较多时,预测性能保持80%以上,且均优于现有最新方法.     

应用叶片图像分割与特征融合的复杂背景植物识别方法

针对复杂背景的存在性,通过图像分割处理消除复杂背景因素对植物识别的负面影响.提出一种基于形态学变换的标记分水岭算法,对植物叶片进行重建的开闭操作,并使用标记分水岭算法对其进行分割.识别测试纹理与形状特征提取方式,了解图像分割算法对复杂背景消除的有效性.结果表明:提出的算法能有效分割复杂背景叶片.     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

注意力叠加与时序特征融合的目标检测方法

提出一种基于注意力叠加与时序特征融合的目标检测方法.在端到端目标检测(DETR)网络的基础上,依据注意力机制特性,使用注意力权重叠加的方式提取目标物像素级标识,用于实例轨迹的划分.为使目标检测与轨迹跟踪协同作用,通过时序特征融合的方式融合之前轨迹跟踪信息,调整当前帧目标检测效果,从而充分利用视频载体提供的时间维度信息.在公开数据集上,对文中方法进行验证,结果表明：文中方法能有效识别被遮挡的目标物,具有较强鲁棒性.     

一种多源遥感图像分割的融合新策略

为了充分利用多传感器遥感图像数据的互补信息来完成一致的图像解译工作,基于区域邻接图构建了马尔可夫场模型(MRF),并在MRF框架内提出了一种面向多源遥感图像分割的融合新策略.针对由美国陆地卫星探测系统专题制图仪获取的一组多光谱图像和合成孔径雷达图像中的分割问题,提出了具体的数据融合策略,即结合多源图像中的局部特征显著性指标和人眼视觉系统中的重要性因子图制定了融合规则,并在分割过程中充分考虑了传感器的可靠性对融合的影响.人工和真实数据集上的比对分析表明,新策略得到的割图区域匀质性最好,区域轮廓最清晰,并且可以有效提高分割精度.     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

融合结构特征的增强型FCM图像分割算法

为了使基于模糊C均值(FCM)聚类的图像分割算法对复杂图像更具适用性,将图像结构特征融合到增强型FCM算法.首先,对原始图像进行均值滤波,将滤波结果与原始图像进行线性叠加形成新的输入图像.其次,采用二维Gabor滤波函数提取新的输入图像的纹理结构特征,以此代替灰度特征来衡量节点间的相似性.最后,采用一种改进的节点间距离度量公式来计算图像中节点与聚类中心点的差异.仿真结果表明,对结构复杂的图像所提算法获得了更加精确的分割结果.