基于注意力机制的人像分割方法

注意力机制能够挖掘与任务密切相关的重要信息并抑制非重要信息，在语义分割的深层特征表示中发挥着越来越重要的作用。本研究基于广泛应用的U-Net模型，提出了一种基于注意力机制的神经网络模型，针对边缘分割模糊的问题，将U-Net的压缩路径和扩展路径中的双卷积替换为卷积核选择模块，该模块允许网络的每一层根据输入信息进行自适应调整接受野的大小；另外，针对人像分割网络存在不同尺度的全局上下文信息被忽略的问题，采用多尺度预测融合的方法来利用不同尺度的全局信息，并采用双注意力模块汇总空间和通道两方面的注意力信息。大量实验表明，本文中方法的性能与U-Net、UNet++和Attention U-Net等网络相当或更好。     

基于感受野扩增和注意力机制的U-Net脑肿瘤MR图像分割

针对U-Net网络感受野受限以及信息丢失导致的分割精度低的问题,提出了一种基于感受野扩增和注意力机制的U-Net脑肿瘤MR图像分割算法.首先,在U-Net网络中引入感受野模块(receptive field block,RFB)来增大网络的感受野,解决了网络由于感受野受限带来的分割精度低的问题.此外在网络中引入有效的通道注意模块(efficient channel attention,ECA)来增加网络对有用特征的响应,抑制网络中的冗余特征.使用BraTS(the brain tumor image segmentation challenge)提供的脑肿瘤MR图像数据对本文算法进行测试,用Dice相似性系数等指标进行评价,结果显示在完整肿瘤、核心肿瘤以及增强肿瘤的Dice值分别可达到0.86、0.86、0.79.与U-Net模型以及其他的网络相比得到了提高.实验结果表明,本文提出的算法能够有效提升脑肿瘤分割的精度,具有良好的分割性能.     

基于改进U-Net模型的高分辨率遥感影像中城市建筑物的提取

针对高分辨率遥感影像中城市建筑物周围环境复杂多样,易被阴影遮挡,难以精细化提取的问题,提出一种改进的U-Net网络用于图像中的城市建筑物提取.该网络在标准U-Net网络的编码器末端嵌入双重注意力模块,可以通过捕获全局建筑物信息和长通道建筑物信息,实现建筑物特征的增强.在交叉熵损失函数的基础上加入Lovász损失函数,构成的复合损失函数增强了对建筑物提取结果的约束能力,进一步提高了模型的鲁棒性.将该模型在美国马萨诸塞州数据集上进行验证,提取建筑物的F1-score为87.83%.结果表明,本方法对高分辨率遥感影像中周围环境复杂多样、被阴影遮挡的城市建筑物具有较强的提取能力.     

融合注意力机制的U-Net混合电磁重构方案

电磁逆散射问题是非线性和病态的,传统的求解方法无法兼顾成像精度和计算效率,而基于深度学习的直接重构方法缺失先验信息,导致学习过程较困难.采用结合衍射层析成像（DT）算法和融合注意力机制的U-Net混合电磁重构方案,求解电磁逆散射问题,将基于Born近似的DT算法重建的粗糙图像作为U-Net的输入,有效利用先验信息,提高逆散射问题求解的效率和精度.此外,在U-Net每次的下采样过程中加入注意力机制,进一步提高了目标散射体相对介电常数和位置的重建精度.实验结果表明,相比未引入注意力机制的方案,融合注意力机制的U-Net混合电磁重构方案重建误差较小,可实现相对介电常数分布的高精度重建.     

FSDN:基于嵌套U-Net结构的人脸阴影检测模型

人脸阴影检测通常作为人脸图像相关任务的预处理步骤,避免阴影带来干扰。提出基于深度学习的人脸阴影检测方案,在解决方案中,首先根据光照和人脸结构信息,对耶鲁人脸数据库中1 600张光照不均匀人脸图像的阴影区域进行标注,构建人脸阴影检测数据集;之后设计基于嵌套U-Net结构和注意力模块的人脸阴影检测网络,嵌套U-Net结构被用于提取图像的高分辨率信息和全局特征,注意力模块被用于融合各个嵌套U-Net的输出,同时抑制低阶子层带来的噪声信息;最后在标注的人脸检测数据集上对网络进行了评估,实验结果表明,所提方法的平均检测错误率比对照组中最优方案降低了14.2%,可以有效地检测图像中的小面积阴影,并提供更精确的阴影边缘定位。     

基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络

视网膜血管的形态学变化对早期眼科疾病的诊断具有重要意义,除眼科疾病外,糖尿病、心血管疾病等同样可以通过视网膜血管的形态判别疾病进展。然而,视网膜血管本身具有复杂的组织结构,且易受到光线等因素的影响,对其准确分割并不容易。针对上述问题,提出了一种视网膜血管分割网络。该网络中首先设计了粗糙注意力融合模块(rough attention fusion module,RAFM),该模块基于粗糙集上下近似理论,利用全局最大池化与全局平均池化对注意力系数进行上下限描述,并串行融合通道注意力机制与空间注意力机制;然后,将粗糙注意力融合模块融入Group Transformer U network (GT U-Net),构建一种基于粗糙注意力融合机制与Group Transformer的视网膜血管分割网络;最后,基于公开DRIVE彩色眼底图像数据集进行对比实验,该网络结构在测试集上的准确率、F₁分数、AUC值分别达到了0.963 1、0.848 8和0.981 2,与GT U-Net模型相比,F₁分数、AUC值分别提升了0.35%、0.21%;与其他当前主流...     

基于深度多级小波U-Net的车牌雾图去雾算法

为了解决雾天拍摄的车牌图像边缘模糊、色彩失真的问题,提出了端到端的基于深度多级小波U-Net的车牌雾图去雾算法.以MWCNN为去雾网络的主体框架,利用“SOS”增强策略和编解码器之间的跨层连接整合小波域中的特征信息,采用离散小波变换的像素-通道联合注意力块降低去雾车牌图像中的雾度残留.此外,利用跨尺度聚合增强块补充小波...     

基于DCPAN的低剂量能谱CT图像去噪方法

能谱式计算机断层扫描(CT)成像技术具备良好的能量分辨率,能够精确地鉴别人体组织成分,从而为后续诊断提供更准确的检测信息．随着辐射剂量的降低,能谱CT图像中噪声水平显著提高,对成像质量产生严重影响,进而降低了组织成分的解析精度．基于卷积神经网络(CNN)的去噪模型虽然可以显著降低图像中的噪声含量,但随着卷积层数的增加,深层神经网络通常会丢失高频信息．为了解决这一问题,并实现在低剂量条件下重建出高质量能谱CT图像,本文提出了一种结合通道注意力机制(CA)和持续自注意力机制(PSA)的密集连接持续注意力网络(DCPAN)．两种注意力机制分别建立特征图像在通道和全局维度的联系以提高网络对图像高频分量的敏感程度,进而抑制高频细节信息的丢失．该模型所采用的密集连接结构通过特征复用的方式可以在前馈传播中保留高频信息,使用复合损失函数来监督网络的训练可以使该模型对边缘特征和组织细节信息更加敏感．实验结果表明,经该模型处理的腹部切片CT图像峰值信噪比、结构相似性指数和特征相似性指数分别达到了38.25 dB、0.993 7和0.973 2以上．相比于目前先进的CT噪声去除方法,该方法具有更好的噪声抑制...     

基于多感受野与分组混合注意力机制的肺结节分割研究

从CT图像中自动有效分割肺结节对诊断和治疗肺部肿瘤具有重要意义。鉴于肺结节在肺部所占比例很小、形态不规则、与一些邻近组织和器官在视觉上非常相似，给分割任务带来困难，本文提出一种基于多感受野与分组混合注意力机制的肺结节分割网络MRF-GMA。首先，该网络通过多感受野特征聚合模块，捕获不同尺度的结节；其次，利用分组混合注意力模块，提升对结节像素的分辨能力；最后，采用混合损失函数对训练过程进行优化，缓解了类不平衡的问题。在实验部分，本文分别将MRF-GMA与FCN、SegNet、R2U-Net和Attention U-Net等进行比较，结果表明，MRF-GMA模型在Dice相似性系数(DSC)、召回率(recall)和准确率(accuracy)等方面均表现最优，相比Attention U-Net模型，分别提高了2.25、1.19和2.98个百分点。     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

3D多重注意力机制下的行为识别

为解决传统3D卷积中难以提取时空信息的缺点,提出一种适用于3D卷积网络的多重注意力机制模块.该模块是由通道结合时间子模块和空间子模块组成的多维度特征调整模块.在通道结合时间模块中,通过调整池化层和卷积层的顺序,保留更多的有效通道信息和时间信息;在空间模块中,压缩冗余时间信息以减少计算量.该模块的整体计算量较少,可嵌入到各3D卷积网络中.为验证多重注意力机制模块的性能,基于3D ResNet网络设计部署了该多重注意力机制模块,并在UCF-101和HMDB-51两个行为识别数据集上分别进行训练.结果表明,改进后的3D ResNet在UCF-101上可提升1.50%的精度,在HMDB-51可提升1.24%的精度,而参数量只增加0.24%.     

基于注意力机制的U-Net脑脊液细胞分割

为解决脑脊液病理图像中部分细胞膜较为模糊，与图像背景难以区分的问题，采用了基于注意力机制的U-Net深度学习方法对脑脊液病理图像做全自动分割.在深度学习网络中加入注意力机制对细胞进行定位，抑制无关信息，提高语义的特征表达，提高对细胞整体分割的精确性.通过镜像、旋转等操作对数据集进行扩充预处理.采用VGG16预训练模型进行迁移学习，交叉熵与Dice损失相结合作为损失函数，分别在脑脊液临床图像与公开数据集2018 Data Science Bowl上进行验证；并与Otsu， PSPnet， Segnet， DeeplabV3+， U-Net进行对比，结果表明， 本文方法在各项指标上均优于其他分割方法.     

基于循环生成对抗网络的人脸素描合成网络设计

针对目前人脸到素描合成存在生成的素描图轮廓模糊、细节纹理缺失等问题,提出一种采用循环生成对抗网络(CycleGAN:Cycle-Generative Adversarial Networks)解决方案。构建多尺度CycleGAN,生成器采用深度监督的U-Net++结构为基础,在其解码器端进行下采样密集跳跃连接;在其生成器的编码器端设计通道注意力和和空间注意力机制形成特征增强模块;最后在生成器中增加像素注意力模块。实验结果表明,与现有经典算法相比,从主观视觉评测和利用现有的4种图像质量评价算法进行质量评估,该方法较好地合成了素描图像的几何边缘和面部细节信息,提高了素描图像的质量。     

基于YOLOv5s的轻量化朱鹮检测算法研究

针对当前朱鹮检测算法模型参数较多、计算量大的问题，本文设计研究了一种基于YOLOv5s的高性能轻量化网络模型。首先，结合EfficientNet网络中的MBConvBlock对原主干网络进行重构，大幅降低网络参数；同时在浅层网络中采用Stem模块，提升浅层网络的特征提取能力；然后改进卷积注意力模块(CBAM),即将其中的通道注意力替换为高效通道注意力模块(ECA),避免了降维操作，有效提取了邻近通道间的信息，且大幅降低了通道注意力的参数数量，并将其嵌入特征融合网络路径聚合网络(PANet)中，达到了引入微小参数数量而有效提升网络性能的目的，并将其命名为高效卷积注意力模块(ECBAM)。最后，在自建朱鹮数据集和公共数据集PASCAL VOC、COCO上进行实验，实验结果表明，与YOLOv5s算法相比，本文算法模型参数数量降低了52.37%,计算次数降低了54.55%,在自建朱鹮数据集上P_mAP@0.5:0.95仅降低了约2个百分点，达到0.666,在公共数据集PASCAL VOC上P_mAP@0.5达到0.792,在公共数据集COCO上P     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于多尺度注意力的皮肤镜图像自动分割算法

针对现有的皮肤镜图像分割算法存在边缘分割时效果较差和对中小目标的识别能力较弱等问题。本文提出了一种基于多尺度注意力融合的分割网络MAU-Net(Multi-scale attention U-Net)。MAU-Net网络是以U-Net网络为基础的分割模型,通过本文设计的多尺度注意力模块(MA),在特征提取时融合不同层次的特征,并将重要的目标特征给与一定的权重,从而使网络能更快和更精准的分割出目标区域。实验结果显示,在ISIC2017数据集上平均交并比(MIOU)、精确度(PRE)和kappa值分别为83.61%、93.58%和81.70%,性能比U-Net分别提高了5.27%、2.01%和6.83%;并在ISIC2017挑战赛数据集上进行了消融实验,实验结果验证了MA模型有助于网络性能的提升。本文提出的MAU-Net网络在皮肤病变分割任务中表现优异,同时具有良好的泛化性能。     

新型架构下的密集网络在肺部影像的分割研究

在医学图像分割领域中,肺实质的分割对肺结节检测有着至关重要的作用,在考虑到模型参数量的情况下 追求更高的精度一直是研究热点之一;为此提出了新的三层密集卷积神经网络 DA-UNet,首先用密集卷积模块代 替在传统 U-Net 使用的普通 3×3 卷积,利用密集卷积特征重用特点,加强了网络的特征提取能力。 再者在没有太 过影响分割网络精确度的前提下加以修剪,减少了上下采样次数,减少不必要的算力消耗。 此外,使用了注意力门 (Attention gate),加强了跳跃连接中高底层信息融合效果,并且使用空洞空间金字塔池化( Atrous spatial pyramid pooling),模型加入了不同尺度的特征信息,进一步加强图像中任务相关的区域特征,有效减小噪声干扰,提高网络 分割精度。 通过实验证明:三次上下采样改进模型的参数量只有传统四次上下采样的 75. 2%左右,但是分割效果 没有太大的影响,用 LUNA 竞赛肺部影像数据集进行了分割验证,实验结果在测试集上的准确率达到了 0. 991,而 IoU 则为 0. 961,比起传统 U-Net 的评价指标 IoU 提升了 2. 9%;在泛化实验的肝脏图像中,DA-UNet 的 IoU 稳定在 0. 929 左右,而 U-Net 稳定在 0. 838 左右。 这些结果证明了改进的 U-Net 有更佳的分割效果。     

基于多层次自注意力机制的U-Net图像分割算法

针对U-Net图像分割在下采样过程中会丢失过多信息且在上采样过程恢复效果不佳,从而导致图像分割精度降低的缺陷,提出了一种基于多层次自注意力机制的U-Net图像分割算法。该多层次自注意力机制在每一层上采样层前均嵌入自注意力模块,将上采样层的输入与缩放的原图拼接后处理成模板图,再与原本的输入信息融合后输出到上采样层。该算法不仅能通过拼接原图的自注意力模块进一步提供更多细节信息,还能利用上采样层的特征选择功能减少拼接原图带来的背景噪音,提高模型的分割精度。最后,在PASCAL VOC数据集和DeepFashion2数据集的基础上进行了人体分割和服装分割实验。实验结果 证明,该方法 能较好地改善图像的分割性能,从而证明了其正确性和有效性。     

基于深度学习的CT影像肺结节检测

为辅助医生检测大量肺部CT( Computed Tomography) 图像中难以发现的肺结节的问题,提出使用深度U-Net网络对肺部结节进行分割。由于U-Net 网络出自于全卷积网络( FCN: Full Convolution Network) ,特点是端到端,像素到像素,网络对每个像素点进行分类,能将深层特征抽象的特征信息和浅层特征具象的位置信息相结合得到CT 图像的分割掩膜。实验结果表明,该方法对肺结节的检测效果良好。     

基于通道注意力与空洞卷积的胸片肺气肿检测算法

胸片中的肺气肿检测算法在临床辅助诊断中具有重要研究意义.针对已有算法缺乏特征通道筛选能力,特征图感受野较小易受局部组织噪声干扰,以及难易样本不均衡等问题,提出了一种基于通道注意力与空洞卷积的胸片肺气肿检测算法EDACD.首先,利用通道注意力模块构建了具有通道选择能力的特征提取网络SE-ResNet及特征金子塔网络SE-...