基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

基于目标检测的混凝土坝裂缝实时检测方法

裂缝是大坝最常见的损伤之一，可反映大坝的受力状态和安全性。针对混凝土坝裂缝传统检测算法速度慢、精度低、泛化性能不足等问题，该文基于目标检测神经网络YOLOX(you only look once x)深度学习目标检测算法，提出一种混凝土坝表观裂缝实时检测方法(YOLOX-dam crack detection,YOLOX-DCD)。该方法对YOLOX目标检测神经网络进行改进，首先在网络结构中加入卷积注意力机制，使网络更关注裂缝特征，提高检测效果；其次引入完全交并比(complete intersection over union,CIoU)作为目标定位损失函数；最后在自制的混凝土坝裂缝数据集上进行实验评估，并与现有的多种目标检测神经网络进行对比。结果表明：该文所提方法具有速度快、精度高、参数少的特点，且明显优于经典目标检测算法。因此，该文所提方法能满足混凝土坝裂缝检测高效、精确、实时的要求，可为混凝土坝裂缝检测提供技术支持。     

基于半监督多头网络的腰椎CT图像分割

针对医学图像分割任务中医学数据标注困难以及CT图像强度不均匀问题，提出一种基于半监督的多头分割网络SSMH-Net。SSMH-Net网络采用教师—学生训练架构，基于相同的分割模型V-Net,通过指数移动平均算法完成教师与学生模型的交互训练；采用Multi-Head方法估计模型预测的不确定性信息，指导分割模型在更可靠的目标中学习。在CTspine分割数据集上，SSMH-Net网络平均分割Dice系数达到95.70%,表现出较为优异的分割性能。     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...     

基于感受野扩增和注意力机制的U-Net脑肿瘤MR图像分割

针对U-Net网络感受野受限以及信息丢失导致的分割精度低的问题,提出了一种基于感受野扩增和注意力机制的U-Net脑肿瘤MR图像分割算法.首先,在U-Net网络中引入感受野模块(receptive field block,RFB)来增大网络的感受野,解决了网络由于感受野受限带来的分割精度低的问题.此外在网络中引入有效的通道注意模块(efficient channel attention,ECA)来增加网络对有用特征的响应,抑制网络中的冗余特征.使用BraTS(the brain tumor image segmentation challenge)提供的脑肿瘤MR图像数据对本文算法进行测试,用Dice相似性系数等指标进行评价,结果显示在完整肿瘤、核心肿瘤以及增强肿瘤的Dice值分别可达到0.86、0.86、0.79.与U-Net模型以及其他的网络相比得到了提高.实验结果表明,本文提出的算法能够有效提升脑肿瘤分割的精度,具有良好的分割性能.     

基于多感受野与分组混合注意力机制的肺结节分割研究

从CT图像中自动有效分割肺结节对诊断和治疗肺部肿瘤具有重要意义。鉴于肺结节在肺部所占比例很小、形态不规则、与一些邻近组织和器官在视觉上非常相似，给分割任务带来困难，本文提出一种基于多感受野与分组混合注意力机制的肺结节分割网络MRF-GMA。首先，该网络通过多感受野特征聚合模块，捕获不同尺度的结节；其次，利用分组混合注意力模块，提升对结节像素的分辨能力；最后，采用混合损失函数对训练过程进行优化，缓解了类不平衡的问题。在实验部分，本文分别将MRF-GMA与FCN、SegNet、R2U-Net和Attention U-Net等进行比较，结果表明，MRF-GMA模型在Dice相似性系数(DSC)、召回率(recall)和准确率(accuracy)等方面均表现最优，相比Attention U-Net模型，分别提高了2.25、1.19和2.98个百分点。     

基于改进CenterNet行人检测研究

针对现有的CenterNet模型在行人检测中由于人体遮挡以及人体姿态多变等所引起的模型精度下降的问题，本文从三个方面对CenterNet进行改进。一是在原CenterNet基础之上设计了特征融合模块，该模块引入了反转卷积，从通道这一角度提取特征并与原特征进行融合，丰富了图像的特征表示，使其更好地定位到人体区域；二是提出了一种带有非局部注意力的检测头，通过计算特征图全局像素与当前特征像素相似度，从而对遮挡目标进行区分；三是对损失函数进行改进，将两项损失函数合并成一项，有效地减少了级联误差。实验结果表明，改进的CenterNet在WiderPerson数据集上的平均精度提升了3.29%,漏检率下降了3.26%。在数据集Human detection and tracking using RGB-D camera上的平均精度提升了2.66%,漏检率下降了2.46%。与原CenterNet相比，改进的CenterNet解决了该模型应用于行人检测中精度低的问题。     

坐标并行注意力下密集空洞卷积的脉络膜分割

脉络膜的变化与很多眼科疾病密切相关。医生在诊断过程中常需要手动分割光学断层扫描图像(Optical Coherence Tomography, OCT)中的脉络膜，再定量分析脉络膜健康状况，但人工分割费时费力。脉络膜自动分割难点在于OCT图像中脉络膜下边界模糊，很难捕捉上下文信息，并且脉络膜结构跟视网膜结构比较类似，容易混淆。为了解决该难点，本文提出了融合坐标并行注意力模块和密集空洞卷积模块的残差编解码模型；设计了一种桥结构，包含了注意力机制和空洞卷积，在增加模型感受野的同时抑制浅层噪声；同时为了使模型关注脉络膜结构信息，引入了一种包含结构相似性的混合损失函数来训练模型。实验结果表明，该模型能有效提升对脉络膜的分割精度，在OCT脉络膜数据集上，Dice系数和Jaccard相似度达到了97.63%和95.28%。     

基于改进残差U-Net的乳腺肿块图像分割方法

针对乳腺钼靶图像中肿块体积小且常被致密组织掩盖导致肿块分割精度较低的问题,提出一种基于复合加权损失函数的U型对称残差语义分割模型SRes-Unet:首先将含有残差结构的卷积模块嵌入U型网络架构中,提升模型整体的特征提取能力;其次,为了解决乳腺图像中因背景较大造成像素类别严重不平衡问题,利用复合型w BCE_DiceLoss作为残差U型网络(SRes-Unet)的损失函数,同时辅以数据增广以减小过拟合风险。实验结果表明,所提分割模型对于乳腺肿块图像能够实现良好的分割效果,DSC值与MIoU值分别达到了0.82和0.86,对比传统U-Net,在DSC和MIoU指标上分别提升了2个百分点和4个百分点。     

基于注意力机制的U-Net脑脊液细胞分割

为解决脑脊液病理图像中部分细胞膜较为模糊，与图像背景难以区分的问题，采用了基于注意力机制的U-Net深度学习方法对脑脊液病理图像做全自动分割.在深度学习网络中加入注意力机制对细胞进行定位，抑制无关信息，提高语义的特征表达，提高对细胞整体分割的精确性.通过镜像、旋转等操作对数据集进行扩充预处理.采用VGG16预训练模型进行迁移学习，交叉熵与Dice损失相结合作为损失函数，分别在脑脊液临床图像与公开数据集2018 Data Science Bowl上进行验证；并与Otsu， PSPnet， Segnet， DeeplabV3+， U-Net进行对比，结果表明， 本文方法在各项指标上均优于其他分割方法.     

基于深度学习的三维路面裂缝类病害检测方法

为了在路面三维图像的基础上快速、准确、完整地识别裂缝,提出一种基于深度学习的路面裂缝类病害自动检测方法.首先,以子块图像为处理单元,将三维图像划分为裂缝面元和背景面元,其中背景面元包含了路面标线、不同纹理和桥接缝等复杂场景.根据对面元图像的分析,提出一种基于卷积神经网络的PCCNet分类模型,用于路面背景面元和路面裂缝面元的自动识别.然后,为了进一步提取裂缝面元内裂缝的完整轮廓,考虑路面三维图像中裂缝像素级邻域特征,利用PCCNet模型结合裂缝高程检查方法对路面裂缝进行检测.研究结果表明:通过训练集4 300张高精度三维图像的训练,模型在3 850次迭代之后出现过拟合,且此时PCCNet模型在验证集上的总体F值达到最大,为92.9％;将PCCNet模型结合裂缝高程检查方法应用在测试集的200张三维图像上,方法准确率、召回率和F值分别为87.8％、90.1％和88.9％.与改进Canny方法和种子识别方法对比,所提出的方法在抑制噪声和检测细小裂纹方面具有更强的鲁棒性.     

融合大核注意力机制的土壤种类识别网络

【目的】为解决因土壤图像纹理复杂、没有结构性特征导致的传统卷积神经网络模型难以提取其中关键性特征、识别准确率低的问题，提出了一种大核注意力(large kernel attention，LKA)机制模块与ResNet模型融合的土壤种类识别网络模型VAR(visual attention ResNet)，以解决土壤种类样本不平衡和难分类样本造成的模型泛化能力弱的问题。【方法】以ResNet为主干网络，在主干中引入LKA机制，减少其中的残差块，构建土壤种类识别网络VAR，并改进网络的焦点损失函数(Focal Loss)。【结果】1) 与传统模型ResNet18、ResNet34、VGG、GooleNet、VAN等相比，VAR模型在特定模型参数下对紫色土土壤图像数据集中土壤种类的识别精度更高；2) 用3种不同大小VAR模型之一的VAR_small与以ResNet18为主干并嵌入传统注意力机制SE、CBAM、ECA和SK的网络进行对比，实验结果显示LKA机制在土壤识别方面更加优秀；3) 改进的Focal Loss可让VAR更能注意到难分类的土壤图像样本。【结论】将LKA机制模块与ResNet模型融合的土壤种类识别网络模型VAR增强了网络提取土壤图像中关键性结构特征能力，同时还减少了网络参数，能更加有效地识别土壤种类。     

基于改进YOLOv5的鱼群小目标检测优化算法

随着深度学习技术的发展，水下图像检测近年来受到广泛的关注，为了克服在复杂水下环境下传统小鱼群的误检、漏检和识别准确率低等问题，提出一种改进YOLOv5的目标检测方法(INV-YOLOv5)。该方法包括将YOLOv5m中的Focus模块替换为卷积模块，提高网络精度；在主干网络(Backbone)中添加多头自注意力机制，增大网络特征提取视野；最后，在网络中引入了内卷算子和加权的特征融合，降低网络的参数量，提高检测精度。在实验阶段，使用Labeled Fishes in the Wild数据集和WildFish数据集验证，该方法的平均精度(mAP)分别为81.7%和83.6%,与YOLOv5m网络相比分别提升了6%和14.5%,不仅拥有较高的识别率并且更加轻量化，而且模型大小与YOLOv5m网络相比减少了6 M(Mega)左右，验证了所提出的改进方法具有较好的效果。     

特征概率图约束全卷积网络的目标分割

针对全卷积神经网络在图像分割上易出现一些孤立的错分像素点或像素块现象,提出一种新的全卷积神经网络结构模型,并定义特征概率图约束损失函数作为本研究模型的优化目标. 该损失函数衡量了图像中的像素点属于前景和背景概率的差距. 同时,该模型使用新定义的损失函数与常用的交叉熵损失函数的加权组合联合训练网络模型. 在肺数据集和手势数据集的实验结果表明,该网络模型可以减少部分错分的孤立像素点和孤立像素块的出现.     

基于VGG16预编码的遥感图像建筑物语义分割

深度卷积神经网络在遥感图像语义分割研究上开创了新的领域。利用改进的U-net模型对建筑物区域进行像素级提取,可获取其轮廓和尺寸信息。利用强可迁移性的VGG16网络作为U-net模型的编码器,并利用基于空洞卷积的级联并行模块提取多尺度的高层语义信息,同时使用转置卷积实现上采样,逐步还原分割细节。实验采用了加权组合的Jaccard损失和二元交叉熵损失作为总损失函数。实验结果表明了改进的U-net模型对遥感图像中建筑物的分割提取具有更高的精度,均像素精度(MPA)、均交并比(MIoU)和F_1分数分别为92. 16%、78. 55%和84. 81%。改进模型的F1分数比Deep Labv3+模型高4. 8%,比标准U-net模型高8. 3%。     

基于深度学习的建筑表面裂缝缺陷识别

针对传统建筑表面裂缝缺陷中存在识别效率低下、且识别精度较低的问题,为此,提出了基于深度学习的建筑表面裂缝缺陷识别方法。首先采集建筑表面裂缝缺陷的图像数据,然后将采集图像采样与量化,以实现缺陷图像的数字化处理。将上述数字化后的图像数据进行阈值分割、滤波以及以及增强等,完成建筑表面图像的预处理;构建R-CNN深度学习模型,模型结构分为四部分,包括输入图像模块、生成模块、提取卷积特征模块以及分类和边框回归模块。将建筑表面裂缝图像输入构建的深度学习模型中,完成建筑表面裂缝缺陷的识别。实验结果表明,采用所提方法识别建筑表面裂缝缺陷的效率较高,且识别的精度较好。     

基于对抗生成网络的复原面貌真实感处理

由于颅骨面貌数据较少,现有颅面复原方法获得面貌模型具有一定局限性,复原结果仅含有物理几何信息,缺纹理、睁眼状态等真实感信息,这些信息缺失均影响进一步颅骨身份识别。该文提出了一种基于对抗生成网络的P-GAN来重现逼真面貌。针对Pix2Pix(image-to-image translation)网络复原面貌的真实感不足,文中基于Pix2Pix网络提出一种P-GAN网络将复原面貌进行真实感处理,在Pix2Pix基础上添加面貌约束网络P-net。使用VGG16(visual geometry group)提取面貌特征,使用SE-Block(sequeze and excitation)加强网络收敛,使用Face++来挑选最相似样本。网络输入为复原面貌图像与真实人脸图像,Contrastive loss和Triplet loss结合作为损失函数,将复原面貌数据Frankfurt校正与归一化后,输入P-GAN网络获取真实感复原面貌。     

基于改进YOLOv5的遥感图像飞机目标检测

针对遥感图像中飞机检测尺寸大小不一、背景复杂导致的难以识别问题,提出一种基于YOLOv5网络模型的改进方法。首先,在YOLOv5网络模型中融入Swin-Transformer模块,使网络全局建模并使全维度信息交互,以提升网络的特征提取能力;其次,对损失函数进行优化,引入SIOU损失函数以考虑真实框和预测框之间的向量角度问题。对比实验表明,优化前后网络模型检测精度均为95.3%。在检测精度相同的情况下,改进后的网络模型召回率为91.2%,比改进前提升0.6个百分点;改进后平均检测精度mAP_0.5为95.7%,比改进前提升0.2个百分点。结果表明,改进后的YOLOv5网络模型能在一定程度上提升遥感图像中飞机目标检测性能。     

基于U-net和YOLOv4的绝缘子图像分割与缺陷检测

输电线路上绝缘子的完整性直接影响了输电的安全与可靠性.采用深度学习方法，对绝缘子图像识别提取和缺陷检测问题进行了研究.首先基于优化的U-net模型获取绝缘子区域掩模图像，实现对绝缘子串语义分割；然后基于YOLOv4模型获取缺陷绝缘子的位置，实现对自爆绝缘子目标的检测.为充分利用高分辨率图像的像素信息，提出“切分-识别-合成”的检测思路，精确分割出绝缘子以及判断并获取缺陷区域；最后设计了多组实验并进行对比，验证了模型的有效性.采用优化的U-net模型分割绝缘子的Dice系数达0.92；采用YOLOv4模型检测自爆绝缘子的识别精度达0.96，平均重叠度IOU达0.88.研究结果对实现电力系统运维的智能化具有较高的应用价值.     

基于改进YOLOv3和迁移学习的轻量型补片目标检测

自动三维乳腺超声(Automated 3-D Breast Ultrasound,ABUS)克服传统超声的缺陷，成功应用于对腹壁疝轻量型补片的检查.但人工检阅ABUS超声图像耗时费力，且极易出现漏诊等问题.因此，文章提出一种基于改进YOLOv3和迁移学习的目标检测算法以辅助医生提高审阅速度和准确性.基于原有的YOLOv3模型，在检测层前增加空间金字塔池化(Spatial Pyramid Pooling,SPP)模块实现局部特征与全局特征的融合，丰富特征图的表达，解决了检测图像中小目标难以检测的问题；在网络训练中，采用迁移学习的策略进行训练网络以克服轻量型补片图像数据集有限的问题，提升网络的鲁棒性减少过拟合产生.实验结果表明，YOLOv3-SPP算法结合迁移学习训练方式，其平均精度均值(mean Average Precision,mAP)达到90.15%，图像检测速度为33.2 f·s^-1，可有效辅助医生提高审阅效率.