采用对比学习的多阶段Transformer图像去雾方法

为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题，提出了一种采用对比学习的多阶段自注意力模块(Transformer)的图像去雾MSTCNet方法。首先，利用信道级Transformer模块作为基本的特征提取模块，充分地捕获特征信道之间的长距离依赖关系；其次，通过提出的多监督对比学习方法最大限度地挖掘正负样本信息，使去雾图像在投影后的隐空间中更靠近清晰图像，同时远离有雾图像；最后，利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验，结果表明：所提出的MSTCNet方法在5个数据集上的峰值信噪比(PSNR)分别提高了1.49、1.45、0.11、1.45和0.22 dB,在通用数据集与非数据集的测试中均超越已有的方法，在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果，并达到最高的客观评价指标值。     

改进的基于端到端学习的蜻蜓目昆虫识别算法

[目的]传统的蜻蜓目(Odonata)昆虫的鉴别算法是在标本图片上进行人工的特征提取来训练分类器,此类方法所用的数据集包含的蜻蜓目昆虫种类和数量均较少,并且样本背景单一,导致识别率低且只能识别标本图片.针对这些问题制作了一个同时包含蜻蜓目昆虫生态图片和标本图片的数据集,提出一种基于深度学习的蜻蜓目昆虫的识别算法.[方法...     

基于多尺度特征融合的图片情感分布学习

视觉情感分析旨在分析人们对视觉刺激的情感反映,近年来受到了共享平台和网络社交等多媒体视觉数据相关领域的关注.传统的图片情感分析侧重于单标签的情感分类,忽略了图片表达的情感的复杂性和图像潜在的情绪分布信息,不能体现出图片所表达的不同情绪之间的相关性.针对以上问题,首先采用ViT和ResNet网络进行全局和局部融合的多尺度情感特征提取,通过主导情绪分类和标签分布学习进行图片情感识别,充分表征图片的复杂情感.在公开的Flickr_LDL数据集和Twitter_LDL数据集上取得了显著的效果,证明了提出方法的有效性.     

基于空间变换双线性网络的细粒度鱼类图像分类

有效地识别水下各种鱼类目标具有重要的实际意义和理论价值.鱼类生存环境复杂,由于海洋的极端条件,水下鱼类图像的分辨率低,且图像类间相似度高、类内差异性大,并受光照、角度、姿态等的影响较大,这些因素使得鱼类识别成为一项具有挑战的任务.针对这些难点,提出了一个能够有效进行细粒度鱼类图像分类的深度学习模型.该模型包含空间变换网络和双线性网络两部分,首先利用空间变换网络作为注意力机制,去除图像背景中复杂的干扰信息,选择图像中感兴趣的目标区域,简化后续分类;双线性网络通过融合两个深度网络的特征图提取图像的双线性特征,使得对目标中具有判别性的特定位置有较强的响应,从而识别种类,该模型可以进行端到端的训练.在公开的F4K数据集上,该模型取得了最好的性能,识别正确率为99.36%,较现有最好算法DeepFish提高0.56%,此外,发布了一个包含100类共6 358张图片的新的鱼类图像数据集Fish100,该模型在Fish100数据集上的识别正确率高出BCNN算法0.98%.多个数据集上的实验验证了模型的有效性与先进性.     

基于YOLOv5的遥感图像目标检测

目标检测是遥感图像处理领域的一项重要技术,遥感图像目标种类繁多且存在目标物体难以被检测.提出把YOLOv5算法应用到遥感图像目标检测的方法,首先选择YOLOv5x来构建网络模型,再通过Mosaic数据增强对样本集进行预处理和自适应锚框筛选方法确定锚框大小,然后切片卷积操作得到原始特征图,将原始特征图送入主干网络进行特征融合得到最优权重,最后采用GIOU Loss做边界框的损失函数和非极大值抑制目标框的筛选,对遥感图像进行目标检测.在公开的10类地理空间物体(NWPU-VHR 10)数据集进行了检测实验,以评估所提出模型的目标检测性能.对比实验表明,本文的模型mAP达到了0.9239,与使用相同数据集的模型中的最佳结果进行比较,mAP提升了1.78％,该方法可以提高遥感图像目标检测精度.     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于孪生网络的自监督细粒度分类度量

针对小样本间的细粒度分类中同种样本间不同个体的差异性不明显,导致特征难以提取的问题,设计了使用自监督的抠图式度量学习图像分类建模训练方法,在不增加数据集人工标注成本的基础上提高分类精度.首先,将数据集进行抠图处理,扩大检测目标在图像中的占比,突出样本特征.其次,通过比较网络结构模型及距离度量函数,择优对模型进行改进.最后,采用孪生网络的思想将样本集和验证集输入特征提取器中通过度量函数的计算得到两者相似度.选用的样本集为公开数据集CUB＿200＿2011和Standford Dogs Dataset,实验结果显示,提出的方法在性能和精度上得到了较好提升.     

星际争霸图像序列的群体行为识别研究

以星际争霸游戏图像数据的群体目标行为识别为研究目标,构建游戏中群体目标典型行为的数据集,并应用当前主流的行为识别方法对游戏图像序列进行了群体行为识别.群体目标典型行为的数据集共包含战斗、移动、静止这3类典型行为,每个行为样本中包含不同数量、不同背景和不同行为表示形式的目标单元,充分保证了数据样本的多样性.分别使用时间段...     

基于Faster-RCNN的遥感图像飞机检测算法

CCCV2017发布遥感图像飞机数据集,用于评测飞机检测算法.针对该遥感图像数据集中的飞机朝向不确定、图像覆盖范围广、图像背景复杂度高,导致飞机检测难度大、检测算法准确率和算法泛化能力低等问题,提出了基于Faster-RCNN的飞机检测改进算法.首先,通过对图像采用翻转以及角度旋转等方式对数据集进行合理的扩增;然后,在扩增后的数据集上,使用深度残差网络对图像进行特征提取,针对数据集中飞机目标的长宽比特点优化区域建议网络;同时,为了防止训练集中正负样本不均衡,采用在线困难样本挖掘方法对数据进行训练.在CCCV2017数据集上评估表明,改进后的Faster-RCNN算法极大提高了初始的Faster-RCNN算法性能,在测试集上m AP达到了89.93%.在NWPUVHR-10、NWPU-RESISC45、UCAS-AOD遥感图像飞机数据集测试表明,该改进模型同样具有良好的性能,从而验证了该模型具有良好的鲁棒性和泛化能力.     

基于改进ConvNeXt的COVID-19胸部图像分类

针对新型冠状病毒感染胸部 X-ray 图像分类任务数据集样本过少,现有的两阶段分类器和三阶段分类器模型对高纬度的图像特征提取效果差,模型训练慢等问题,提出一种基于 ConvNeXt 卷积神经网络改进的分类任务算法 ConvNeXt-AT。 ConvNeXt-AT 分类模型首先通过在 ConvNeXt Block 层添加混合域注意力机制 CBAM 来提高图像特征提取能力,不仅考虑了通道间的信息交互能力还考虑到了空间域上像素间的联系,得到 ConvNeXt-AT 模型;然后针对 X-ray 图片常见的泊松噪声使用全变差正则化方法对数据集进行降噪处理;最后在 COVID-19 公开的大型数据集共 21165 张图片进行对比实验。 实验结果表明,在训练数据集充分的情况下,改进的 ConvNeXt-AT 模型相较于常用分类模型 ResNet-50、MobileNet、EfficientNet 以及原 ConvNeXt-T 在准确率上分别提升了 2%、2. 7%、2. 1%、1. 9%。 最后通过 Grad-CAM 显示类激活图的图像可视化方法证明改进方法是可行的,模型具有很好的鲁棒性。     

基于GAN的中文虚假评论数据集生成方法

针对互联网虚假评论大肆横行，在虚假评论研究领域却没有完全公开的中文数据集可供中文虚假评论检测研究的问题，提出了一种基于生成对抗网络的中文虚假评论数据生成模型.首先，对生成器生成的文字序列通过蒙特卡洛搜索获取一批样本；然后，采用强化学习方法将判别器、分类器和重构器的反馈化为奖励分数；最后，传回生成器，对生成器进行参数优化，以生成贴近真实世界的具有相应类标签属性及特征的虚假评论数据.以BLEU值为评估指标，实验结果表明，所提出的模型在本文数据集上取得了更好的BLEU值，具有较好的生成效果.     

基于改进的半监督阶梯网络SAR图像识别

针对目前SAR(Synthetic Aperture Radar)图像中样本人工标记成本高、传统算法分类识别较低的情况,提出一种基于改进半监督阶梯网络(Semi-supervised Ladder Network,SSLN)的SAR图像分类识别方法 .首先在原SSLN模型的解码器网络中使用卷积神经网络代替全连接层,对编码器输出的每层数据进行全局深度特征提取,这样做有利于图像降噪,实现对输出数据的重构.其次,为解决SAR图像各类数据集分布不均衡的问题,同时提高网络的泛化性能,对阶梯网络训练层中各类别损失函数的权重进行优化,根据各类别样本数所占总样本数的比重,对少样本类别损失函数调高权重,对多样本类别损失函数调低权重.在公开数据集MSTAR(Moving and Stationary Target Automatic Recognition)上的实验表明,改进后的半监督阶梯网络分类的识别准确度明显优于SSLN算法,且具有更好的泛化性.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展，但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性，导致各方向雨纹去除不均匀，复原图像仍存在雨纹残留及颜色失真问题．基于此，以雨纹方向信息为导向，提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中，融入残差校正模块可学习低质量特征表示到最优特征表示的映射，校正后的网络可恢复更多高频细节；特征提取子网络包含方向引导模块和自适应循环递归模块，通过动态卷积核自适应选择与注意力机制引导，可实现不同方向、不同感受野的雨纹特征提取和融合；进一步，为了改善去雨后图像的视觉质量，设计了颜色修正模块，可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明，所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

基于小波变换及注意力机制的T型图像去雾网络

受大气中雾霾等悬浮颗粒的影响，室外拍摄的图像常伴有低对比度和低能见度问题，现存去雾方法未能充分利用图像的局部特征信息，存在去雾不彻底及图像细节丢失等问题. 为此，提出一种基于小波变换及注意力机制的T型图像去雾网络. 所提网络通过对图像进行多次离散小波分解及重构来获取有雾图像的边缘细节特征，并提出了一种兼顾图像全局特征及局部信息提取的特征注意力模块，加强了网络在图像视觉感知和细节纹理方面的学习. 在进行特征提取的过程中，提出T型连接方式来获得多尺度的图像特征，扩展了网络的表示能力. 对重构后的无雾图像进行色彩平衡，得到最终复原图像.在合成数据集和真实数据集中的大量实验结果表明，本文所提网络相较于现有其他网络模型具有更优越的性能.     

基于注意力机制的U-Net脑脊液细胞分割

为解决脑脊液病理图像中部分细胞膜较为模糊，与图像背景难以区分的问题，采用了基于注意力机制的U-Net深度学习方法对脑脊液病理图像做全自动分割.在深度学习网络中加入注意力机制对细胞进行定位，抑制无关信息，提高语义的特征表达，提高对细胞整体分割的精确性.通过镜像、旋转等操作对数据集进行扩充预处理.采用VGG16预训练模型进行迁移学习，交叉熵与Dice损失相结合作为损失函数，分别在脑脊液临床图像与公开数据集2018 Data Science Bowl上进行验证；并与Otsu， PSPnet， Segnet， DeeplabV3+， U-Net进行对比，结果表明， 本文方法在各项指标上均优于其他分割方法.     

基于卷积神经网络的超声造影图像去噪方法

针对超声造影图像包含大量噪声的问题, 提出一种基于卷积神经网络的超声图像去噪方法. 首先, 通过图像平移、 翻转、 旋转等数据增强方法扩充稀缺的超声造影图像样本数量; 其次, 通过重叠切割小图像块, 进一步扩充样本数量; 最后, 以图像块和人工噪声为输入训练集, 训练基于卷积网络结构的去噪模型. 实验结果表明, 该方法可有效扩展至不同大小的超声造影图像, 对于超声造影图像去噪后的峰值信噪比高于传统的图像去噪方法.     

训练过程中使用支持集信息的单样本学习算法

单样本学习的目的是利用一个包含大量训练样本的源类别数据集以及每个类别只包含一个训练样本的目标类别数据集来构建一种学习算法,使得算法能够对目标类别空间中的样本进行准确分类.已有的单样本学习算法主要是先利用源类别数据来训练模型,然后在测试时将目标类别训练数据作为支持集来实现对未标注样本的分类,因此在训练时没有有效地利用支持集的信息.为此提出一种在训练阶段和测试阶段同时利用支持集信息的单样本学习算法,基本思想是利用孪生神经网络构建模型并在训练时加入支持集信息,即让不同类别的支持集样本之间的相似度尽可能小.在Omniglot数据集和满文识别问题上的实验结果表明,该算法能取得较好的识别准确率.     

一种基于特征向量中心性的基因调控网络结构推测算法

提出了一种基于特征向量中心性推断基因调控网络结构的算法,通过特征向量中心性挖掘基因在网络中的拓扑信息,结合基因对之间的相关性和拓扑信息构建完整的基因调控网络.算法在n个变量和n个样本的DREAM数据集以及包含9个变量和9个样本的大肠杆菌数据集上进行仿真测试,并与现有的基于距离相关性和网络拓扑中性的3种最先进的网络推理算法进行了比较,算法结果显示该方法能够提高基因调控网络结构的预测精度.     

基于深度学习SCNet的钢筋混凝土锈蚀裂缝识别

为提高钢筋混凝土锈蚀裂缝检测分类的效率和精度，提出了一种基于深度学习卷 积神经网络（Convolutional Neural Network，CNN）的钢筋混凝土锈蚀裂缝识别模型 SCNet（Steel Corrosion Net）. 首先通过原始数据采集和数据增强构建了39 000张图片的裂缝数据集，然后利 用 TensorFlow 学习框架和 Python构建神经网络模型并进行训练测试，根据模型的训练精度和 测试精度进行网络结构和网络参数的优化，最终将 SCNet识别模型与两种传统检测方法进行 对比 . 结果表明：文中所建立的 SCNet三分类神经网络模型达到了 96.8%的分类准确率，可以 有效识别分类钢筋混凝土锈蚀裂缝，并且具有较高的准确率和可测性；在图像数据有阴影、扭 曲等噪声干扰的条件下，两种传统检测方法已不能达到理想的分类效果，SCNet模型仍能表现 出相对稳定的分类性能.     

基于ResNet-50的级联注意力遥感图像分类

知识蒸馏能提高神经网络的泛化能力，可解决遥感图像场景分类时标注数据不足的问题。遥感图像存在的类间高相似性会导致中间知识特征丢失，针对该问题，本文提出一种基于自蒸馏级联注意力机制的特征提取方法(SDCASA)。首先构造权值共享的教师、学生网络；然后使用级联注意力模块精细化深层教师网络所提取到的特征，同时保留被浅层神经网络过滤的中间边缘信息；再利用精细化之后的特征指导学生网络学习；最后在下游训练一个线性分类器完成特征分类。在3个公开数据集AID、MLRSNet、EuroSAT上使用20%和50%的样本训练，分类准确率分别达到85.17%、90.10%、 91.13%和85.50%、92.13%、91.17%。此方法能有效提高遥感图像场景分类准确率，性能优于主流自监督图像分类方法 SimSiam、SwAV、MoCov2、Deepcluster,具有良好的应用价值。