多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于DRA-UNet模型的超声图像分割方法

针对普通卷积运算无法关注重点区域、编码器无法有效提取全局上下文信息、简单的跳跃连接无法捕获显著特征,以及易导致分割图像分辨率降低、重要细节丢失、小物体信息无法被准确捕获等问题,提出基于膨胀率注意力机制的UNet(DRA-UNet)模型,并发展了基于此模型的超声图像分割方法．在UNet模型的基础上,引入膨胀率注意门和多尺度卷积(ConvMulti)模块．膨胀率注意门模块利用空洞卷积能得到更大的感受野,将编码器语义位置的局部区域像素联合到上采样区域,可以实现更加高效的跳跃连接．ConvMulti模块用来获取更加详细的高层特征信息,使编码器功能更强大．实验结果表明：本模型可以有效抑制图像噪声,大幅提高特征的表达能力,具有很强的鲁棒性,相比六种经典分割方法,所提出方法在交并比、F1分数和精度指标下分别达到72.25%,83.89%和97.47%.     

一种CNN-Transformer网络在皮肤镜图像分割上的应用

【目的】针对皮肤病变图像存在皮损形状不规则、边界模糊以及毛发伪影等问题，提出了一种将CNN和Transformer相结合的图像分割算法。【方法】首先对皮肤病变图像进行去毛发预处理，减少毛发噪声对结果的影响，然后构建CNN和Transformer结合的分割模型，采用Resnet作为特征提取主干网络，将提取到的特征图序列作为Transformer的输入，在Transformer中加入了新的结构边界注意门以提取足够的局部细节来处理模糊边界，最后采用DenseASPP模块增强特征表示和处理多尺度信息，并且提出一种改进了的损失函数，以便在计算损失函数的同时使得模型能关注边界区域部分。【结果】提出的算法在ISIC2017数据集上的Dice指数值以及Jaccard指数值分别为0.854 534和0.767 901，在ISIC2018数据集上的Dice指数值以及Jaccard指数值分别为0.908 548和0.843 689，与其他算法相比提出的算法对图像的分割效果相对较好。【结论】实验结果证明了所提算法在皮肤病变图像上进行的图像分割是有效的。     

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割. PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中，可获取更多的特征信息，从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明，与当前先进网络模型相比，PS-UNet在所有实验中，性能均有所提升，其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。     

基于改进I-Attention U-Net的锌浮选泡沫图像分割算法

针对泡沫图像的高度复杂性导致其难以被准确分割的难题,本文提出了一种新的I-Attention U-Net网络用于泡沫图像分割.该算法以U-Net网络作为主干网络,使用Inception模块替换第一卷积池化层来提取泡沫图像的多尺度、多层次浅层特征信息;引入金字塔池化模块,通过对不同尺度的特征图求和来提升分割效果;并对自注意力门控单元进行改进,使注意力单元更适合于浮选泡沫图像的分割,强化深层特征的重要性并对不同尺寸的泡沫边界进行强化学习.研究结果表明：本文所提出算法的Jaccard系数为91.73%,Dice系数为95.66%.与同类其他分割算法结果相比,Jaccard系数及Dice系数分别提高了1.59%、0.88%.该模型能够较好地对锌浮选泡沫图像进行分割,解决欠分割与过分割的问题,为后续的泡沫特征提取奠定基础.此外,该方法检测时间和模型参数少,具备可以部署在工业现场计算机的能力,有一定的实际应用价值.     

融合注意力空洞卷积和Transformer的矿石图像分割

在金矿研磨过程中,矿石粒度大小对后期黄金冶炼起着至关重要的作用,是一个不可忽略的关键参数。为解决图像分割中多数矿石表面不规则、棱角多,粘连等问题,通过结合注意力与多尺度空洞卷积的Vit Transformer模型研究了矿石图像分割。首先使用ResNet34作为下采样主干,增强对金矿石的特征提取能力;其次采用Transformer模块解决长距离依赖问题,融合复合通道注意力空洞模块提升网络对金矿石边缘特征的提取能力,提高了网络的抗干扰能力并扩大感受野。实验结果表明：本文算法准确率达到95.84%,Dice系数达到94.69%,交并比(IoU)达到90.39%,错误率低至7.83%。与其他算法对比,本文方法精度、Dice系数、IoU更高,可以较好地完成矿石图像分割任务。     

融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则, 传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性, 并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题, 提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法. 首先, 用空洞卷积融合不同尺度的空间上下文信息; 其次, 用通道上下文信息融合模块提取特征图各通道间的权重信息; 最后, 将特征图中的多尺度和多维度信息进行融合, 以保留更多的空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.     

基于注意力机制的人像分割方法

注意力机制能够挖掘与任务密切相关的重要信息并抑制非重要信息，在语义分割的深层特征表示中发挥着越来越重要的作用。本研究基于广泛应用的U-Net模型，提出了一种基于注意力机制的神经网络模型，针对边缘分割模糊的问题，将U-Net的压缩路径和扩展路径中的双卷积替换为卷积核选择模块，该模块允许网络的每一层根据输入信息进行自适应调整接受野的大小；另外，针对人像分割网络存在不同尺度的全局上下文信息被忽略的问题，采用多尺度预测融合的方法来利用不同尺度的全局信息，并采用双注意力模块汇总空间和通道两方面的注意力信息。大量实验表明，本文中方法的性能与U-Net、UNet++和Attention U-Net等网络相当或更好。     

基于Transformer和CNN的低剂量CT图像去噪网络

低剂量计算机断层扫描（Low-dose Computed Tomography, LDCT）在临床中有着广泛的 应用,可以有效减轻对病人的辐射剂量。但是成像后的低剂量CT图像中含有明显的噪声和条形 伪影,影响医师的诊断。提出了一种基于Transformer和CNN的去噪网络,该网络是一种改进的编 解码网络架构,其编码端的每一层由卷积模块与Transformer模块融合而成,用来提取每一层的局 部特征和全局特征,同时引入融合模块用来有效地融合提取的局部特征和全局特征。并把融合后 的特征通过跳跃连接融入解码端对应的层,解码端的每一层通过卷积模块提取有效特征进而重建 去噪后的图像。在真实数据集Mayo上的实验结果说明所提出的网络不仅可以有效去除噪声,还能 够保持图像的边缘。     

一种基于局部与全局表征交叉耦合的脑卒中病灶分割网络模型

由于脑卒中严重程度不同,病灶位置、形状和面积有较大差异,导致目前基于深度学习的分割方法仍还不够理想.针对脑卒中病灶特征,提出了一种新的U型分割网络,该网络的编码器是一个结合Transformer和卷积网络的双分支混合架构,该结构特点是在构建图像层次化特征过程中将基于Transformer的全局特征和基于卷积网络的局部特征进行交叉学习,促进编码器在训练和推理过程中将两种风格的特征相互增强.此外,为了增强小目标、弱边缘的特征表达,构建了合并模块将编码器得到的两种风格的层次化特征进行融合,并将融合后特征输送到一个级联的上采样器中预测病灶区域,以及设计了一个结合Dice函数和Focal函数的损失函数用以缓解小病灶区域造成的前景与背景数据之间的数据不平衡问题.所提出的方法在一个开源脑卒中数据集进行了验证,与其他相关方法相比,所提出的方法在分割精度、效率等方面均表现出较好的性能.     

基于改进Deeplabv3+的桥梁裂缝分割算法研究

为提高Deeplabv3+模型对桥梁裂缝的分割精度与检测效率,提出一种多分支卷积块和Deeplabv3+改进的桥梁裂缝分割算法。在Deeplabv3+模型中加入RFB多分支卷积模块,将Deeplabv3+中的backbone替换为Mobilenetv2,用深度分离卷积替换算法中所有普通卷积,增加一次底层特征融合。将改进模型与主流的图像检测模型如PSPNet、U-Net在相同数据集下进行实验对比,结果表明,改进后的Deeplabv3+模型对桥梁裂缝的检测具有较好的效果,检测精度可达90.15%,较原始模型提高了4.07%。改进后的模型分割精度和速度有明显提高,对于完成裂缝检测任务具有实际应用价值。     

新型架构下的密集网络在肺部影像的分割研究

在医学图像分割领域中,肺实质的分割对肺结节检测有着至关重要的作用,在考虑到模型参数量的情况下 追求更高的精度一直是研究热点之一;为此提出了新的三层密集卷积神经网络 DA-UNet,首先用密集卷积模块代 替在传统 U-Net 使用的普通 3×3 卷积,利用密集卷积特征重用特点,加强了网络的特征提取能力。 再者在没有太 过影响分割网络精确度的前提下加以修剪,减少了上下采样次数,减少不必要的算力消耗。 此外,使用了注意力门 (Attention gate),加强了跳跃连接中高底层信息融合效果,并且使用空洞空间金字塔池化( Atrous spatial pyramid pooling),模型加入了不同尺度的特征信息,进一步加强图像中任务相关的区域特征,有效减小噪声干扰,提高网络 分割精度。 通过实验证明:三次上下采样改进模型的参数量只有传统四次上下采样的 75. 2%左右,但是分割效果 没有太大的影响,用 LUNA 竞赛肺部影像数据集进行了分割验证,实验结果在测试集上的准确率达到了 0. 991,而 IoU 则为 0. 961,比起传统 U-Net 的评价指标 IoU 提升了 2. 9%;在泛化实验的肝脏图像中,DA-UNet 的 IoU 稳定在 0. 929 左右,而 U-Net 稳定在 0. 838 左右。 这些结果证明了改进的 U-Net 有更佳的分割效果。     

坐标并行注意力下密集空洞卷积的脉络膜分割

脉络膜的变化与很多眼科疾病密切相关。医生在诊断过程中常需要手动分割光学断层扫描图像(Optical Coherence Tomography, OCT)中的脉络膜，再定量分析脉络膜健康状况，但人工分割费时费力。脉络膜自动分割难点在于OCT图像中脉络膜下边界模糊，很难捕捉上下文信息，并且脉络膜结构跟视网膜结构比较类似，容易混淆。为了解决该难点，本文提出了融合坐标并行注意力模块和密集空洞卷积模块的残差编解码模型；设计了一种桥结构，包含了注意力机制和空洞卷积，在增加模型感受野的同时抑制浅层噪声；同时为了使模型关注脉络膜结构信息，引入了一种包含结构相似性的混合损失函数来训练模型。实验结果表明，该模型能有效提升对脉络膜的分割精度，在OCT脉络膜数据集上，Dice系数和Jaccard相似度达到了97.63%和95.28%。     

采用双支路和Transformer的视杯视盘分割方法

视网膜血管复杂且背景与视杯视盘区域相似,是造成视杯视盘分割精度不高的原因。为了更加准确地分割视杯视盘,设计了一种具有双支路特征融合的分割网络。网络主支使用Transformer对特征进行提取,弥补了卷积运算在建立远程关系方面存在的不足。采用多个模块来融合浅层空间特征与高级语义特征：尺度感知-特征融合模块(SCA-FFM)用于从高层次特征中收集视盘和视杯的语义和位置信息;识别模块(IM)利用注意力机制减少低层次特征中存在的错误信息和噪声,增强空间细节特征的提取;使用图卷积域-特征融合模块(GCD-FFM)将高级语义特征和低级特征进行融合,使特征图同时具有全局和局部信息。对比实验表明,本文方法表现出更好的分割效果,且具备良好的泛化能力。     

基于改进U-Net的电子换向器表面缺陷分割方法

电子换向器的表面缺陷形状各异、缺陷与背景差异较小,同时还存在表面杂质干扰缺陷分割结果等问题,导致电子换向器缺陷难以精细分割。本文提出一种基于多尺度融合和残差分离卷积的改进U-Net缺陷分割方法。将不同尺度的图像输入编码模块便于网络模型提取多尺度下缺陷特征信息,并构建残差分离卷积模块,在增大感受野的同时保留细节特征。将多尺度的输出图像放大到相同尺度并融合作为最终输出,实现特征信息语义和位置的信息互补,从而提高网络的分割精度。在公开的KolektorSDD数据集上的实验结果表明,该方法的相似性系数和精确率分别达到97.3%与97.8%,缺陷分割效果相比于SegNet、FCN-8S等经典分割网络更加优秀,能够更加准确地识别细小缺陷。     

基于多层次自注意力机制的U-Net图像分割算法

针对U-Net图像分割在下采样过程中会丢失过多信息且在上采样过程恢复效果不佳,从而导致图像分割精度降低的缺陷,提出了一种基于多层次自注意力机制的U-Net图像分割算法。该多层次自注意力机制在每一层上采样层前均嵌入自注意力模块,将上采样层的输入与缩放的原图拼接后处理成模板图,再与原本的输入信息融合后输出到上采样层。该算法不仅能通过拼接原图的自注意力模块进一步提供更多细节信息,还能利用上采样层的特征选择功能减少拼接原图带来的背景噪音,提高模型的分割精度。最后,在PASCAL VOC数据集和DeepFashion2数据集的基础上进行了人体分割和服装分割实验。实验结果 证明,该方法 能较好地改善图像的分割性能,从而证明了其正确性和有效性。