基于变换域注意力机制的压缩伪影去除的方法

图像有损压缩过程往往会导致图像质量退化,使图像出现压缩伪影。针对现有基于深度学习的方法缺乏对联合图像专家组(Joint Photographic Experts Group,JPEG)压缩算法先验信息的利用,提出一种基于变换域注意力机制的去伪影方法。该方法利用卷积神经网络在像素域和离散余弦变换(discrete cosine transform,DCT)域分别提取特征,再将双域学习的特征信息进行融合。利用量化表设计了DCT注意力机制,该模块根据DCT系数的损失程度给予各频率系数不同的权值,使网络自适应补偿量化引起的误差。于此基础上,在像素域引入通道注意力机制,从而更好地利用量化表的先验信息。在主要数据集上,提出的去伪影方法以固定的模型参数对多种质量因子的压缩图像进行伪影去除实验。实验结果表明,所提出的方法在各评价指标和主观视觉上取得较好的效果。     

一种基于注意力嵌入对抗网络的全色锐化方法

全色锐化旨在将低空间分辨率的多光谱图像和高空间分辨率的全色图像进行融合，生成一幅高空间分辨率的多光谱图像．伴随卷积神经网络的发展，涌现出很多基于CNN的全色锐化方法．这些用于全色锐化的CNN模型大都未考虑不同通道特征和不同空间位置特征对最终锐化结果的影响．并且仅使用基于像素的1-范数或2-范数作为损失函数对锐化结果与参考图像进行评估，易导致锐化结果过于平滑，空间细节缺失．为了解决上述问题，本文提出一种嵌入注意力机制，并辅以空间结构信息对抗损失的生成对抗网络模型．该网络模型由2个部分组成：一个生成器网络模型和一个判别器网络模型．嵌入通道注意力机制和空间注意力机制的生成器将低分辨多光谱图像和全色图像融合为高质量的高分辨多光谱图像．判别器以patch-wise判别的方式对锐化结果与参考图像的梯度进行一致性检验，以确保锐化结果的空间细节信息．最后，在3种典型数据集上的对比实验验证了所提出方法的有效性．     

基于多重注意力机制的高分辨率遥感影像语义分割

针对当前深度神经网络在处理遥感影像语义分割过程中存在的模型庞大、处理耗时长、实时性低、小目标分割准确率不高的问题,提出了一种嵌入多重注意力机制的Multi-AttnDeepLabv3+(Multiple Attentionbased on DeepLabv3+)语义分割模型.该模型在编码部分使用轻量神经网络作为主干特征提取网络,加入混合注意力机制增强重要特征通道和空间像素的权值比重;在解码部分,在特征融合过程中加入通道压缩激活注意力模块,通过压缩激活操作再次增强重要特征通道的权重,提升模型分割准确率.该模型在多个数据集上取得较好的实验结果 .在相同条件下,此模型训练速度较传统网络模型有明显提升.与同类型轻量级语义分割模型相比,该模型在提升分割效果上具备优势.     

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足．针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征．实验结果表明,该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好．     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

基于卷积神经网络和混合注意力机制的书标检测算法

为实现图书馆中机器人智能排架,提出一种基于卷积神经网络和混合注意力机制的书标检测模型。将DenseNet121引入YOLOv4以提高特征和梯度之间的传递效率,利用SPDC模块实现局部和全局特征融合,进而通过通道和空间混合注意力提高模型的特征表征能力。实验结果表明,模型的平均准确率、整体性能、参数量和模型大小均优于对比方法,且易于部署到嵌入式设备中实现在线检测,从而提高图书乱架治理的智能化水平。     

采用残差网络与卷积注意力机制的设备剩余使用寿命预测方法

针对以往剩余使用寿命(RUL)预测方法均等对待深层特征中具有不同重要性的空间域和通道域特征,导致大量的计算资源浪费在不重要的特征上,进而造成RUL预测值偏差过大、不能对失效设备进行及时的维护以避免潜在的安全隐患的问题,提出一种采用残差网络与卷积注意力机制的端到端的RUL预测方法。该方法以卷积层和池化层对原始监测信号进行浅层特征提取与压缩;利用堆叠残差模块在学习深层特征的同时,缓解梯度弥散以及网络退化现象的发生;由卷积注意力模块对设备的深层退化特征进行加权赋值,分别在其空间维度上和通道维度上强化更重要的特征并抑制相对不重要的特征,使网络的注意力集中在对RUL预测任务更关键的信息上;将加权后的特征输入到全连接网络中映射得到RUL预测值。通过PHM2012轴承数据集进行了实验验证,实验结果表明,卷积注意力和残差结构皆对改善模型的预测性能有着积极的作用,所提方法在测试轴承上的均方根误差和平均绝对误差分别为0.107 9和0.083 1,远低于其他对比方法。     

通道注意力引导的空洞卷积神经网络图像去噪

卷积神经网络是目前相对普遍且去噪性能较好的图像处理方法。传统的深度卷积神经网络（DnCNN）中同一层中的特征通道间的重要程度是平等的,不利于特征的提取。将DnCNN与通道注意力,以及空洞卷积神经网络构成的稀疏块相结合,提出了一种通道注意力引导的卷积神经网络CDNet用于图像去噪。不仅更有效地提取图像复杂背景下的更有用的信息,还降低网络训练的复杂性。对比试验结果表明该网络在不同公开数据集上的PSNR值以及SSIM值都优于其余去噪网络,去噪效果相对较好。     

双路特征提取与度量的少样本细粒度图像分类方法

少样本学习旨在利用少量数据训练深度学习模型,并将其快速泛化到新任务中．在这一领域,少样本细粒度图像分类是最具有挑战性的任务之一,原因在于细粒度图像具有类内方差大、类间方差小的特点．为了解决这一问题,本文提出了一种基于距离与方向双重度量的神经网络,分别利用欧氏距离衡量特征间的绝对距离差异和余弦相似度衡量特征间的相对方向差异,以提升度量信息多样性和样本特征的判别性．同时,为了与当前先进的少样本细粒度图像分类方法对比,将特征提取器在不增加深度的前提下设置为双路形式,以适应不同度量方法对嵌入特征信息的需要．此外,设计了彼此分离的通道和空间注意力机制,分别通过自适应通道注意力和空间信息交叉注意力对不同阶段的提取特征进行增强,从而挖掘重要分类信息．最后,通过双相似度模块分别计算两种差异信息的度量结果,并选取一定权重融合得到最终的相似度分数,实现绝对差异与相对差异在度量空间中的协调补充．在4个主流细粒度图像分类数据集上进行实验对比与分析,最终结果表明了所提方法在相同设置下最多实现了7.0%左右的分类准确率提升．     

基于多旋涡湍流模型的红外退化图像仿真

大气湍流效应会导致红外成像降质，为了有效模拟复杂湍流场引起的红外图像模糊现象，本文综合考虑湍流场中旋涡尺度、强度、数量和旋涡随机偏移等因素，提出一种基于改进类高斯点扩展函数的多旋涡湍流模型，对红外图像进行退化仿真；为了定量评估仿真图像的模糊程度，利用模糊图像中心像素向周围扩散的特点，提出基于相邻像素-锐度的图像降质模糊度评估方法。实验结果表明：所提出的退化模型具有图像质量变化平稳、模型参数细致、仿真可控性强等特点，并且所提出的评估方法能准确地反映图像的降质模糊度。     

基于特征自干扰与像素注意力机制的道路分割网络

主流网络在提取图片特征过程中易受其他目标干扰导致特征鲁棒性降低,而现有的基于噪声抗干扰机制有着伪特征与真实特征相似度不高这一劣势;注意力机制的运用可以提升道路场景特征的空间上下文关系从而增强特征的抗干扰能力,但现有的注意力机制缺乏像素级的特征筛选。针对上述问题提出了基于图像特征自干扰与像素注意力机制的道路分割网络,该网络分为主干分割网络和特征自干扰网络两部分,主干的分割网络包含像素注意力模块,可实现真实特征的提取和像素级的增强;自干扰网络输入原始图像随机裁剪和插值放大后得到的局部图生成伪特征,此外提出了融合模块用于实现伪特征与真实特征的融合并对主分割网络中间特征进行干扰。在KITTI和Cityscapes道路数据库上的实验表明：基于图像特征自干扰与像素注意力机制的分割方法与DeepLab V3分割方法相比,在KITTI数据集上的分割精度由88.02%提升至90.55%,在Cityscapes数据集上的分割精度由87.15%提升至90.16%。     

基于颜色注意机制的弱光图像增强算法

针对当前弱光图像增强算法在恢复过程中存在颜色与细节丢失的问题,提出一种基于颜色注意机制的增强算法.该算法首先将弱光图像从RGB色彩空间转换至CIE LAB色彩空间,将弱光图像分解为亮度和颜色两个分量.其次,利用两个卷积神经网络(CNN)模型对亮度和颜色分量分别独立增强.然后对增强后的颜色分量使用监督注意力机制,在弱光图像中搜索任何有用的颜色关键点,引导和扩展网络注意力对图像的颜色进行增强.最后将增强后的亮度和颜色分量进行融合,并转换回RGB空间,获得清晰艳丽的复原图像.实验结果表明:与其他增强算法相比,本文提出的方法具有明显优势,在保持明暗度顺序的同时有效地增强了弱光图像,完整地恢复了原始图像的颜色.     

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反应特征融合图中某个特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且通道域复制自身大小为原始特征图大小,扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制后,实验结果：在脑电波二分类任务中,算法分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,算法分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了3.860%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0.5的平均精度值评判标准下算法最高提升了0.778%,在交并比阈值大于0.75的平均精度值评判标准下算法最高提升了1.232%。     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

浮升力在竖直通道湍流中的作用

采用直接数值模拟方法研究了在不同湍流引发机制作用下竖直槽道湍流中统计量的变化以及湍流结构的变化,分别给出了强迫对流、混合对流和自然对流湍流时平均速度、平均温度、湍流脉动强度、雷诺切应力的统计结果以及湍流结构.结果表明:与强迫对流时相比,混合对流时浮升力作用使高温侧的平均速度升高,速度脉动强度降低,而低温侧的平均速度降低,速度脉动强度升高;浮升力使温度脉动强度在壁面附近区域显著增强,而在通道中心区域变弱.与强迫对流和混合对流的情况相比,自然对流的平均速度分布关于通道中心线反对称,通道中间区域的速度脉动强度最大,温度脉动强度则最小;雷诺应力最大值出现在通道中心区域,而负的雷诺应力产生在壁面附近.     

基于可变形卷积融合双注意力机制的缺陷检测方法

在工业生产制造过程中，由于生产失误致使产品表面缺陷不仅影响产品质量，同时也会损害企业形象.针对现有方法使用卷积神经网络只具备局部感受野的问题，将Vision Transformer(ViT)作为特征提取器，ViT可以通过位置编码与图像块间的互相运算充分利用图像中各部分间的关联特征.此外，针对现实场景下的缺陷区域是不规则、不连续的，现有的模型也未充分利用图像中通道与空间信息问题，提出了一种基于可变形卷积融合空间通道双注意力机制的方法(deformable convolutional and dual attention flow,简称DCA-Flow).对于不规则的缺陷区域，使用形变建模能力更强的可变形卷积进行特征提取，并利用通道与空间维度的注意力机制对可变形卷积提取的特征进行权重再调节.实验结果表明，所提出的方法能够有效检测各种类别物体中的表面缺陷，在多种物体中的平均AUROC值可达96.4%,相较基线方法最大值提高了1.4%,且具备更好的泛化性.     

高速快门诱导的低照度图像弱参考视觉增强方法

高速快门会导致拍摄图像产生多种类型的退化,如极低曝光和噪声等问题.现有的无监督图像增强方法难以构建不同空间域的特征映射关系,以改善图像质量.针对上述问题,提出了一种高速快门诱导的低照度图像弱参考增强方法.该方法训练了一个光照特征提取网络(illumination feature extraction net,IFE-Net)以估计高阶曲线的参数;构建了联合硬注意力机制,加权选择低照度图像和参考图像的特征信息,并利用光照估计曲线将两者有机整合,逼近最佳的非线性映射,以获得清晰的复原图像;设计图像属性和转换感知相结合的多项损失函数,在增强低照度图像的同时保留更多图像细节.与现有的3种低照度图像增强算法进行实验对比,验证了算法的可行性和有效性,并通过消融实验验证了联合硬注意力模块设计的合理性和必要性.     

嵌入特征预提取和注意力机制的SAR图像目标检测

合成孔径雷达(Synthetic Aperture Radar,SAR)目标识别技术广泛应用于道路、船舶等检测任务中,但合成孔径雷达图像易受散斑噪声干扰,直接将卷积神经网络(Convolutional Neural Network,CNN)应用在SAR数据集上难以高效准确地提取有效特征.针对以上问题,提出了一种嵌入特征预提取和注意力机制的SAR图像目标识别算法(Convolutional Automatic Encoder-Convolutional Neural Network-Channel and Spatial Atten-tion Mechanism,CAE-CNN-CSAM),即利用优化的Lee滤波算法降低SAR图像斑点噪声,通过编解码技术对SAR图像进行特征预提取,而后在卷积神经网络中引入注意力机制,提高算法对通道和空间特征的表达能力.在公开的Statoil/C-CORE数据集上,该算法对目标的识别准确率达到了94％,相比于目标识别准确率约为88％的CNN等基准模型具有更高的目标识别性能.     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。