基于高效通道注意力的UNet肺结节CT图像分割

肺癌是全球死亡率最高的癌症之一,肺结节作为肺癌早期诊断的重要依据,对其进行精准分割格外重要。为了帮助医生诊断肺部病变,本文提出一种改进的UNet肺结节分割方法。首先,在特征提取部分引入高效通道注意力网络(efficient channel attention for deep convolutional neural networks, EcaNet),提高UNet分割效果,使其具有良好的泛化能力。接着,为了降低模型参数量、提升算法分割性能,提出一种基于深度可分离卷积的特征融合模型,用深度可分离卷积代替传统卷积完成特征融合。然后,针对肺结节图像特点,将基于重叠度损失函数(dice loss)与加权交叉熵(weighted cross entropy, WCE)结合作为新的损失函数。最后,为验证所提算法Eca-UNet的有效性,在LIDC-IDRI肺结节公开数据集上进行评估。结果表明：Eca-UNet算法在DICE相似系数、MIOU上比UNet分割算法分别提高10.47、7.34个百分点;同时在训练速度上提升了10.10%,预测速度提升了11.56%。     

一种基于深度学习的卫星遥感图像分割方法

近年来,基于深度学习的语义分割方法得到了广泛应用.本文针对实际遥感图像中的语义分割问题,为了减少网络参数和计算量,以及提高网络性能,提出了一个使用通道注意力机制的卷积神经网络(channel attention network,CA-Net).首先,对高分二号(GF-2)遥感图像进行预处理和数据标注,得到一个7分类数据...     

融合注意力特征及动态卷积的肺结节辅助诊断

针对肺结节关键影像征象信息不易获取,部分卷积神经网络（convolutional neural networks, CNN）模型对肺结节的识别率不高的问题,提出一种结合注意力特征的动态卷积残差网络（dynamic convolutional residual networks incorporating attention features,DcANet） ,并在有效实现肺结节良恶性分类的基础上对所提模型的诊断结果进行可视化分析。此网络以适应肺结节三维小尺寸输入特点的残差网络为基本框架,在DcABlock部分使用可以自适应调整卷积参数的动态卷积以及迭代注意特征融合模块,使模型能够更准确地获取肺结节信息,提高模型的表征能力。此外,还使用类激活映射将三维图像的各层切片进行可视化分析。实验在最终测试集上的准确率为85.87%,平衡F分数（F1 ）值为82.67%,敏感度和特异性的综合指标Gmean值为85.51%。实验结果表明,该网络可以提升对肺结节良恶性分类的准确性,诊断结果具有可信性,有一定的临床应用价值。     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

一种用于肺结节恶性度分类的生成对抗网络

针对肺结节数据集中良恶性样本数比例失衡的问题,首次引入深度卷积生成对抗网络(deep convolutional generative adversarial networks,DCGAN)模型,该模型根据输入的肺结节图像,生成与输入图像具有相似纹理特征的肺结节并将生成图像用于训练DCGAN模型.此外,将图像来源分类问题改为图像来源分类和肺结节等级1~5分类问题,从而增强了DCGAN模型的抗噪能力和实现了DCGAN模型对肺结节的等级分类.实验表明,改进的DCGAN中G模型在生成图像时具有良好的抗噪能力且生成图像中大约有90.42%的图像判别为真实图像,D模型对肺结节图像的等级分类具有较好的判别能力且肺结节等级分类准确率为70.89%,肺结节良恶性分类准确率为80.13%.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计,对网络学习到的通道间深层特征相关性的研究较少,没有充分利用神经网络提取表达力较强的特征。为解决此问题,设计了一种基于二阶有效通道注意力网络(second-order efficient channel attention network, SECA-Net)的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征,使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征,进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类,该模块具有较少的参数量、较低的显存需求和计算量,并且没有使用额外的数据预训练模型。同时,所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明,提出的方法是有效的。     

一种改进轻量化神经网络的齿轮箱故障诊断方法

针对齿轮箱故障诊断精度低以及深度神经网络模型对计算机硬件要求高等问题,提出了Shuffle-ECANet网络模型用于齿轮箱故障诊断。该模型以轻量化神经网络ShuffleNet V2为基础,在保留网络轻量化结构的同时对网络模型进行了优化,采用Gelu激活函数增强了模型非线性变换能力,嵌入高效通道注意力(efficient channel attention, ECA)模块以提高网络性能。深度可分离卷积提高了网络模型的运算效率,通道混洗技术使得信息更加流通,提高了特征表达能力。实验结果表明,本文所提网络模型在保证轻量化的同时适用于不同噪声工况的齿轮箱故障诊断,在原信号下可达99.6%的诊断准确率,在添加了信噪比为-8 dB的高斯白噪声下可达92.7%的诊断准确率。本文所提方法为神经网络更好地应用于齿轮箱故障诊断提供了一条新的途经。     

基于LSTM与注意力结构的肺结节多特征抽取方法

对肺结节的形状特征、边缘特征和内部特征进行准确分类,能够辅助影像科医生的日常诊断工作,提高影像报告的书写效率.针对这一问题,提出一种基于长短时记忆(LSTM)结构与注意力结构的多任务分类模型.该模型通过注意力机制融合各个任务间的共享特征,提高当前任务的特征抽取效果.LSTM结构分类器能够有效地筛选任务间的共享特征,提高模型的信息传递效率.实验表明,相较于传统多任务结构,所提模型在公开数据集LIDC-IDRI上能够取得更好的多特征分类效果,辅助医生快捷地获取肺结节特征信息.     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于多尺度改进的V-Net肺结节分割方法研究

近年来基于深度模型分割已成为肺结节分割的主要方法,但多数深度模型的精度与轻量性难以共存,且大模型不利于方便部署.为了得到一种轻量级且尽可能不损失精度的模型,提出了一种基于M-VNet的肺结节分割方法.该网络总体设计继承V-Net结构,并添加了不同深度路线平衡细节信息和语义信息,使用路线注意力机制进行高效融合.M-Blo...     

基于ME-ANet模型的糖尿病视网膜病变分级

糖尿病视网膜病变(Diabetic Retinopathy，DR)是一种致盲率很高的眼科疾病。不同病变等级的视网膜图像之间差异小且病灶点分布无规律。针对现有深度模型对DR中的相似病灶点识别率低，严重影响模型分类精度的问题，本研究以深度学习为基础，构建新的模型架构进行训练，提出一种集成MobileNetV2和EfficientNetB0深度模型的注意力网络：ME-ANet。模型集成分为头部和主干两部分，将深度模型的浅层部分融合构成网络的头部，训练时采用迁移学习的策略对网络模型参数进行初始化，减少训练中的过拟合问题。主干部分利用上述两种模型的核心结构，设计3个阶段集成模块进行特征提取。同时设计全局注意力机制(Global Attention Mechanism，GAM)并分别嵌入到3个阶段的集成模块中。模型的改进加速了网络的收敛速度，该网络模型实现了对图像浅层信息的特征融合提取，减少了微病灶特征信息在训练过程中的卷积丢失问题，模型的分类精度进一步得到改善。通过模型集成构建特征提取主干网络，提高了模型对低级特征信息的学习，注意力机制抑制非病变特征信息，强化典型病灶特征学习，从而实现细粒度分类，进一步提升了模型的分类性能。     

基于改进YOLOv5的密集行人检测方法

针对密集行人检测中行人之间高度遮挡重叠所带来的精度低和漏检高的问题，提出一种单阶段密集行人检测方法Dense-YOLOv5。实验基于YOLOv5-L，首先使用改进的RepVGG模块来替代原有3×3卷积加强密集场景下特征信息的提取；然后在原有3个检测头的基础上添加1个检测头降低对小尺度行人的漏检；最后在网络特征融合阶段引入注意力机制，添加1个高效通道注意力(efficient channel attention,ECA)模块提高对有用信息定位的精度。实验结果表明：DenseYOLOv5相比原YOLOv5在CrowdHuman数据集上，在保证实时性的前提下，平均精度(AP)提高了3.6%，对数漏检率平均值(MR^-2)降低了4.0%，证明了Dense-YOLOv方法在密集行人检测中的有效性。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network,ASTFFN)的深度神经网络模型.AST FFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并...     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于编码解码器与深度主题特征抽取的多标签文本分类

本文提出了一种基于编码解码器与深度主题特征的模型,实现了多标签文本分类.针对传统多标签文本分类方法的特征语义缺失的问题,采用一种长短时记忆(long short-term memory,LSTM)网络提取文本的局部特征与主题模型(latent dirichlet allocation,LDA)提取文本的全局特征的深度主题特征提取模型(deep topic feature extraction model,DTFEM),得到具有文本深层语义特征的语义编码向量,并将该编码向量作为解码器网络的输入.解码器网络将多标签文本分类的任务看作序列生成的过程,解决了多标签文本分类的标签相关性的问题,并加入attention机制,计算注意力分布概率,突出关键输入对输出的作用,改进了由于输入过长导致的语义缺失问题,最终实现多标签文本分类.实验结果表明,该模型能够获得比传统的多标签文本分类系统更优的结果.另外,实验证明使用深度主题特征的方法可以提高多标签文本分类的性能.     

基于可逆网络的对抗样本防御算法的设计与研究

深度学习模型极容易受到对抗样本的攻击。为了提高模型的鲁棒性，提升相关技术在现实生活中应用的安全性，提出一种轻型可逆网络(lightweight reversible network, LRNet)用于有效去除对抗样本中的对抗扰动。首先，将哈尔小波变换与可逆网络相结合，获得更丰富的特征；其次，将特征通道分离，利用干净样本的高低频特征指导学习，从随机数中重采样替换高频信息去除对抗扰动；再次，提出特征分离模块，去除非鲁棒特征，提高分类准确率。结果表明：LRNet防御模型能显著提高防御准确率，其分类准确率在MNIST,CIFAR-10数据集上较防御模型ARN分别从91.62%和67.29%提升到97.65%和78.55%;模型的参数大小降低至0.48 MiB,是APE-GAN模型的20%;防御模型的迁移能力得到极大提高，为对抗样本的防御提供了一种新方法。     

基于改进YOLOv5s的非侵入式负荷识别

负荷识别是非侵入式负荷监测的关键环节.针对原始电压电流轨迹特征选择有限、识别准确度低的问题，提出一种基于改进YOLOv5s(YOLOv5s是YOLOv5(you only look once的第5个版本)系列中预训练结构最小的模型)的非侵入式负荷识别算法.将坐标注意力(coordinate attention,简称CA)模块添加至YOLOv5s的主干网络，用双向特征金字塔网络(bi-directional feature pyramid network,简称BiFPN)取代YOLOv5s的常规特征提取网络.实验结果表明：相对于其他3种算法，该文算法有更高的负荷识别准确度.因此，该文算法具有有效性.     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

改进的YOLOv4肺结节检测算法

针对目标检测YOLOv4算法在肺结节检测中存在的小目标漏检和肺结节位置失真等问题,设计了一种改进的YOLOv4肺结节检测算法.在原始YOLOv4网络的基础上,将特征融合网络的上采样过程替换为双线性插值法,并采用张量堆叠的方法使顶层的语义信息与底层的位置信息形成更高通道的特征张量.实验结果表明,与原始的YOLOv4算法相比,改进的YOLOv4算法在公开数据集LUAN16上的平均精确度与预测速度分别提高了4.54%和28.1%,可视化结节位置表达更精准.     

基于通道和帧级特征注意力模型的环境声音识别

本文提出基于通道和帧级特征注意力的环境声音分类卷积神经网络模型。模型选择一维卷积对环境声音的二维对数梅尔谱特征进一步提取有效特征,再采用SE-Res2Net模块实现对浅层输入特征细粒度上的全局感受并获得通道注意力分数。在全连接层之前加入注意力统计池化,对输入的通道加权特征在帧级特征上施加注意力机制,获得不同时刻的帧级特征的重要度分数,加权计算后将不同通道的平均值μ和方差σ串联作为输出。采用Urbansound8K数据集对模型进行评估,实验最终在测试集达到94.5%的准确率,其表明本文所提模型可以学习到不同类声音的关键特征并正确分类。为进一步证明模型性能进行消融实验,分析实验结果可得对声音特征施加通道和帧级特征的注意力机制可使模型分类错误率的下降率为43.8%。