基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足．针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征．实验结果表明,该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好．     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。     

一种基于注意力导向CNN的晶粒缺陷检测方法

针对半导体生产过程中的晶粒缺陷检测任务,提出了一种融入多头注意力机制的新型CNN模型(Attn-Net).该模型使用深度可分离卷积和标准卷积累加的卷积结构提取输入图像特征,借助多头注意力机制更新特征权重,输出注意力机制筛选的图像分类结果.在13513张晶粒图像构成的数据集上训练、验证及测试,并与VGG-16、ResNe...     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

改进CycleGAN的钢材表面缺陷图像生成方法

针对工业钢材表面缺陷检测过程中存在的样本采集困难、成本较高，以及缺陷种类较多难以覆盖全部导致的小样本问题，提出一种改进循环生成对抗网络(cycle-consistent generative adversarial networks, CycleGAN)的钢材表面缺陷图像生成方法。首先，将通道注意力(class activation map, CAM)和空间注意力(spatial attention map, SAM)机制嵌入到CycleGAN模型中，增强模型的特征提取能力；其次，引入权重解调(weight demodulation, WD)机制修复特征伪影和白斑，进一步提高生成图像的质量；再次，引入形状一致性损失对生成器训练过程进行监督，解决图像几何变换过程中内在模糊性问题；最后，将改进前后的模型在NEU-DET数据集上进行试验。结果表明，改进后的模型在缺陷图像生成的效果上更具多样性和准确性，PSNR，SSIM分别提高了13.0％和7.8％，FID值降低了33.1％。该方法能够稳定地生成高质量的各类钢材表面缺陷图像，可以达到增加训练数据的目的，对于其他缺陷数据集的扩增具有参考价值。     

融合空间及通道注意网络的古籍汉字图像检索

古籍汉字图像检索是古籍汉字研究的有效工具.然而,古籍汉字字形复杂、书写风格多变的特点导致传统文字图像检索技术在应用于古籍汉字图像时效果欠佳.针对现有方法在古籍汉字图像特征提取时存在的字形结构细节信息和低层视觉特征提取问题,设计了一种融合空间注意力和通道注意力网络高低层特征的古籍汉字图像检索模型.首先,融合空间注意力的低维特征和通道注意力的高维特征,捕捉古籍汉字空间结构间的依赖关系,提取更丰富的古籍汉字语义特征信息;其次,构建inception残差结构模块,丰富古籍汉字图像特征的感受野,使网络模型更易优化,保留足够的古籍汉字细节信息;最后,运用加权交叉熵损失函数,解决数据集中存在的正负样本不平衡问题,增强检索模型的鲁棒性.在上下、左右、包围和独体结构古籍汉字图像数据集上检索实验的MAP(mean average precision)值分别为77.89%、79.89%、78.21%、80.75%,表明了方法的有效性.     

基于三次精调的人脸分割方法

针对人脸分割的精度问题,提出了融合网络深层特征和浅层特征的新结构,三次精调人脸检测框,提高人脸分割的精确度.新结构结合通道注意力与空间注意力机制,利用深度分离卷积,为每个通道特征提供各自对应的注意力权重,充分利用深层语义信息与浅层定位信息,为精确分割提供特征信息,三次精调为分割提供准确的检测结果.实验结果相比Mask ...     

基于改进ConvNeXt的COVID-19胸部图像分类

针对新型冠状病毒感染胸部 X-ray 图像分类任务数据集样本过少,现有的两阶段分类器和三阶段分类器模型对高纬度的图像特征提取效果差,模型训练慢等问题,提出一种基于 ConvNeXt 卷积神经网络改进的分类任务算法 ConvNeXt-AT。 ConvNeXt-AT 分类模型首先通过在 ConvNeXt Block 层添加混合域注意力机制 CBAM 来提高图像特征提取能力,不仅考虑了通道间的信息交互能力还考虑到了空间域上像素间的联系,得到 ConvNeXt-AT 模型;然后针对 X-ray 图片常见的泊松噪声使用全变差正则化方法对数据集进行降噪处理;最后在 COVID-19 公开的大型数据集共 21165 张图片进行对比实验。 实验结果表明,在训练数据集充分的情况下,改进的 ConvNeXt-AT 模型相较于常用分类模型 ResNet-50、MobileNet、EfficientNet 以及原 ConvNeXt-T 在准确率上分别提升了 2%、2. 7%、2. 1%、1. 9%。 最后通过 Grad-CAM 显示类激活图的图像可视化方法证明改进方法是可行的,模型具有很好的鲁棒性。     

改进YOLOv5的钢材表面缺陷检测算法

针对传统钢材表面缺陷检测方法存在检测效率低、检测精度差等问题,提出一种基于改进YOLOv5的钢材表面缺陷检测算法。首先使用GhostBottleneck结构替换原YOLOv5网络中的C3模块和部分卷积结构,实现网络模型轻量化;其次在Backbone部分引入SE注意力机制,对重要的特征通道进行强化;最后针对数据集特点在网络中增加一个检测层,强化特征提取能力,并在Neck部分增加特征融合结构,使用DW卷积替换部分标准卷积以减少运算量。实验表明,改进的YOLOv5sGSD算法,模型体积减少了10.4%,在测试集上的mAP值为76.8%,相比原YOLOv5s网络提高了3.3%,检测精度和速度也明显高于一些主流算法。相比传统的钢材表面缺陷检测方法,提出的算法能够更加准确、快速地检测出钢材表面缺陷的种类和位置,并且具有较小的模型体积,方便于在移动端的部署。     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

基于卷积神经网络的三维物体检测方法

提出了一种新的三维物体检测方法.在物体定位部分,采用随机采样一致和欧式聚类算法分割三维物体点云以减少计算量;在物体识别部分,将物体点云转化为深度图像,利用k-Means聚类算法学习卷积核,利用卷积网络提取卷积特征,从而提高图像的识别率,并在2个公开的三维物体数据集上对所提出的特征提取算法进行测试.结果表明,与传统的点云特征提取方法相比,基于卷积网络的特征提取方法的识别率较高.     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

面向肺部CT影像的双3D-CNN结节诊断模型

为了捕获肺部CT影像中结节的三维不规则性并提高其诊断精度，本文设计了一种由筛到诊的双三维卷积神经网络（d3D-CNN）结节诊断模型.首先，构建了一个轻型3D-CNN网络，且将它与全卷积运算相结合，利用卷积运算的高优化性，完成结节筛选并生成疑似区域；然后，利用空间-切片注意力机制自动学习疑似区域在空间和切片序列上的偏移量，设计可变形3D卷积模块，且将它与ResNet101相结合而构造成一个高精度3D-CNN结节诊断网络，用于对筛选出的疑似区域进行最终判决.对比实验结果表明，所提模型在误报率为1的情况下，召回率达到88.9%，有效地提高了肺结节良恶性诊断精度.     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于生成对抗网络的单图像超分辨率重建

针对当前卷积神经网络未能充分利用浅层特征信息, 并难以捕获各特征通道间的依赖关系、 丢失高频信息的问题, 提出一种新的生成对抗网络用于图像超分辨率重建. 首先, 在生成器中引入WDSR-B残差块充分提取浅层特征信息; 其次, 将GCNet模块和像素注意力机制相结合加入到生成器和鉴别器中, 学习各特征通道的重要程度和高频信息; 最后, 采用谱归一化代替不利于图像超分辨率的批规范化, 减少计算开销, 稳定训练. 实验结果表明, 该算法与其他经典算法相比能有效提高浅层特征信息的利用率, 较好地重建出图像的细节信息和几何特征, 提高超分辨率图像的质量.     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。