基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

基于混合空洞卷积网络的多鉴别器图像修复

为了有效解决大面积语义信息缺失、孔洞区域大小及形状不规则、图像背景复杂时修复结果出现边缘模糊、伪影或修复失真等缺陷,提出了一种基于混合空洞卷积网络的多鉴别器图像修复算法.首先,将待修复图像输入一个基于混合空洞卷积层的模糊卷积网络,以重构损失为标准,进行粗修复.然后,将粗修复结果输入双平行卷积网络,该网络包含混合空洞卷积(HDC)层的卷积路径及一个与之平行的感知层卷积路径,两个平行路径的输出经过解码和反卷积后,送入鉴别器进行判别优化.最后,在网络的优化过程中,利用全局鉴别器、局部鉴别器和中心鉴别器增强修复图像的整体及局部语义一致性和细节特征.在国际公认的人脸数据集CelebA和风景数据集Places2上,对提出算法进行训练和测试,实验结果表明:提出方法在修复背景复杂和各种大小及形状的孔洞时,增强了图像细节的修复精度,有效避免了修复失真,在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面,优于对比的4种经典修复算法.     

融合注意力机制的刀具磨损预测方法

刀具的磨损状态影响着工件表面质量与加工稳定性,故实现其磨损量的准确监测对于保证加工可靠性、维持生产加工连续性具有积极作用．为进一步提高刀具磨损预测模型的泛化性能和准确度,提出一种融合注意力机制的多尺度卷积双向门控循环(multiscale convolutional bidirectional gated recurrent unit-attention,MSCBGRU-A)神经网络的刀具磨损预测方法,其由特征拓展模块、多尺度卷积模块、双向GRU模块、注意力模块、回归模块组成．首先,将切削力、声发射、振动信号作为输入信号,输入信号通过多尺度卷积模块获得多个尺度的刀具磨损输出特征图,将多个卷积通道输出的特征图输入到连接层进行首尾和层叠两种方式的连接来获得两种输出数据．然后,将两种输出数据分别输入到双向GRU模块与注意力模块,通过双向GRU模块学习输出特征图动态变化来获取时序特征,通过注意力模块对多尺度卷积神经网络的输出进行权值分配,强化对刀具磨损预测结果贡献度更大的特征．最后,通过回归模块对磨损值进行预测．经过对比实验引入混合域注意力机制的基于卷积块的注意力机制(convolutiona...     

基于循环生成对抗网络的壁画色彩修复算法

针对敦煌唐代壁画修复所面临的褪、变色以及修复后的壁画图像色彩存在假色和伪影的问题,提出基于循环生成对抗网络和多尺度融合协调注意力机制的壁画色彩修复算法。首先在循环一致性损失中添加同一映射损失,然后改进协调注意力机制,提出多尺度融合的协调注意力机制,最后在生成器中引入多尺度融合的协调注意力机制,对图像进行卷积核大小为1×1、3×3、5×5、7×7的多尺度卷积运算,提高生成图像的协调性。实验结果表明,与CycleGAN、WGAN等经典算法相比,本文算法在构造的壁画数据集上精度更高,可以在不依赖专家知识的情况下修复褪色壁画图像的颜色。     

基于U-net边缘生成和超图卷积的两阶段修复算法

为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U-net边缘生成和超图卷积的两阶段修复算法.首先，将缺失图像输入基于U-net门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息.然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度.最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果.在国际公认数据集上进行实验仿真，结果显示：本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSNR,SSIM和L1损失优于对比算法.     

联合特征推理和语义增强的渐进式壁画修复

针对现有深度学习算法修复壁画图像时，未充分考虑破损区域与完好区域信息的一致性，导致修复结果易出现边界效应和纹理模糊等问题，提出了一种联合特征推理和语义增强的渐进式壁画修复算法.首先，设计区域渐进结构，实现了待修复区域的渐进式收缩修复.然后，利用特征推理模块，对缺失像素的特征值进行迭代推理填充，减小壁画修复重构误差，增强壁画破损区域与完好区域之间的相关性.最后，将各层特征图自适应融合，并采用语义增强模块进行纹理细节迁移，提升壁画补全区域和整体的一致性.敦煌壁画数字化修复实验表明：所提方法修复结果具有更好的纹理细节一致性，在主客观评价指标上均优于比较算法.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足．针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征．实验结果表明,该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好．     

基于注意力特征融合的SqueezeNet细粒度图像分类模型

针对现有细粒度图像分类算法普遍存在的模型结构复杂、参数多、分类准确率较低等问题,提出一种注意力特征融合的SqueezeNet细粒度图像分类模型.通过对现有细粒度图像分类算法和轻量级卷积神经网络的分析,首先使用3个典型的预训练轻量级卷积神经网络,对其微调后在公开的细粒度图像数据集上进行验证,经比较后选择了模型性能最佳的SqueezeNet作为图像的特征提取器;然后将两个具有注意力机制的卷积模块嵌入至SqueezeNet网络的每个Fire模块;接着提取出改进后的SqueezeNet的中间层特征进行双线性融合形成新的注意力特征图,与网络的全局特征再融合后分类;最后通过实验对比和可视化分析,网络嵌入Convolution Block Attention Module(CBAM)模块的分类准确率在鸟类、汽车、飞机数据集上依次提高了8.96%、4.89%和5.85%,嵌入Squeeze-and-Excitation(SE)模块的分类准确率依次提高了9.81%、4.52%和2.30%,且新模型在参数量、运行效率等方面比现有算法更具优势.     

基于DenseASPP模型的超声图像分割

利用超声图像获取胎儿的各项生物指标,对诊断胎儿发育过程中的异常有重要作用.当前主要依靠医生对超声图像的手动测量来确定这些指标.然而,医师手动测量不仅具有主观性,而且在重复作业下效率低下.针对以上问题,提出一种基于DenseASPP模型的超声图像分割改进算法,以辅助医生完成对胎儿各项生物指标的测量.在DenseASPP模型中,首先利用普通卷积预先提取原始图像的特征得到预特征图,再以扩张卷积及金字塔池化结构为基础将前层所有扩张卷积的输出特征图与预特征图拼接在一起传输到下一层扩张卷积以获得更大感受野的多尺度特征图,最终将所有特征合并后通过Attention机制获得相关联的特征,再利用sigmoid函数获取分割结果.分别使用胎儿的头臀径,头围,腹围三个部位的超声图像作为数据集对本文提出的DenseASPP方法进行了评估.实验结果表明,DenseASPP方法优于其他当前常见的分割方法,取得了更好的性能.     

基于HSA注意力模块和关联规则的行人属性识别算法

针对先前研究工作对行人属性相关性分析不足和行人图像中细粒度属性特征难以捕获的问题,首先基于关联规则寻找属性之间的相关性,然后根据相关性改变网络结构,提升有较强相关性属性的准确率并嵌入改进的HSA(hierarchysplitattention)注意力模块,将特征图中的潜在信息进行深度挖掘．HSA注意力模块将特征图进行分组和在子特征图之间增加通道交互操作,整合后的特征图输入挤压激励(squeezeandexcitation,SE)模块中,提取图像在通道上的信息．在PA100K、Market-1501和PETA数据集上的实验结果表明,本算法的精确率、召回率、F1值与其他算法相当,但是准确率有较大提升．     

基于注意力机制的细粒度图像分类算法

针对目前细粒度图像分类算法存在的局部区域特征捕捉不全面的问题,在B-CNN算法基础上提出了一种基于注意力机制的细粒度图像分类算法。首先利用数据增强的6种方式对训练数据集进行扩充,然后在B-CNN算法的特征提取中引入注意力机制,使用卷积注意力模块CBAM精准获取图像局部区域特征,最后融合特征进行分类。改进后的算法分别在CUB-200-2011和Stanford Cars两个数据集上进行实验,与当前先进算法比较,所提算法提高了细粒度图像的分类效果。     

基于改进Inception-ResNet-v2的城市交通路面状态识别算法

针对传统方法对于路面状态识别准确率低的问题,提出了一种改进Inception-ResNet-v2的路面状态识别算法,对六种城市交通路面状态进行识别。首先,在Inception-ResNet-v2算法的Inception-ResNet-C模块引入SENet注意力机制得到SE-Inception-ResNet-C模块,使算法学习到不同通道特征的重要程度;然后采用特征融合策略,将不同层级的特征信息融合,防止重要特征信息的丢失;最后采用全卷积结构,将原始算法中的全连接层换成卷积层,不仅保证了图像的空间结构,还能使网络接收任意尺度的图片。实验结果表明,该算法能提取关键的特征信息,有效提高了路面状态的识别精度。     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于递归特征估计的图像修复算法

针对现有图像修复方法纹理不清晰和结构错乱等问题,提出基于递归特征估计的图像修复模型,此模型基于部分卷积和注意力机制且不需要额外的标签.整体框架分为两个部分,粗修复模块和精修复模块,前者初步修复前景,后者利用递归特征估计递进式地修复缺失区域的边界,不断缩小空洞的面积,这种方式不断加强对缺失区域中央的约束,使得修复结果更加...     

基于深度学习模型的图像质量评价方法

为了有效提取与视觉感知质量高度相关的图像特征,改进图像质量评价方法,在深度学习的框架下,提出一个全新的卷积神经网络IQF-CNN结构,能自动学习判别性更强的图像质量特征,并利用学习的特征进行图像质量评价.同时,该算法采用局部亮度系数归一化、dropout等技术进一步提高网络学习能力.实验结果表明:该算法能较准确地评估五种常用的图像失真,尤其在JPEG压缩、JPEG2000压缩和高斯模糊图像失真上与人眼主观感知质量具有很高的一致性,整体性能比较优于其他经典评价方法.     

基于卷积神经网络的抽油机井故障诊断研究

针对抽油机井示功图故障诊断问题,提出基于轻型卷积神经网络,并引入注意力机制,以提高在参数量、计算量减少的情况下的网络诊断性能。网络基础结构采用MobileNet-V2,并将ECA(Efficient Channel Attention Module)模块嵌入MobileNet-V2的倒残差模块中。倒残差模块中,ECA对特征图从通道维度,将生成的通道注意力重标定权重与输入特征图进行相应通道相乘,最后获取经过注意力加权处理的特征图。基于提出的方法,在保证模型诊断准确性的前提下,降低了网络模型结构的复杂性。实验结果表明,改进后的MobileNet-V2的诊断准确率达到97.60%,满足油田实际生产需求。     

联合双编码器增强的生成对抗壁画多尺度重建

针对现有深度学习算法在修复破损壁画图像过程中,存在特征感知能力较弱和重建细节丢失等问题,提出了一种联合双编码器增强的生成对抗壁画多尺度重建深度学习模型．首先,设计由双分支联合编码器和多尺度解码器构成的生成网络,其中双分支联合编码器分为门控编码器分支和标准编码器分支：门控编码器分支利用门控卷积的动态特征选择机制并结合空洞卷积扩大感受野,提高壁画的语义特征感知能力;而标准编码器分支则利用标准卷积并结合密集连接加强特征传递,以获得更丰富的壁画细节信息．然后,采用多尺度解码器进行重构恢复,增强破损壁画纹理细节的重构能力．最后,通过谱归一化马尔科夫判别网络改善壁画修复结果的语义一致性和结构连续性．通过对真实敦煌壁画进行数字化修复的实验结果表明：所提出的算法能够有效完成破损壁画的修复,重构取得了更好地视觉感和协调性,在主客观评价方面均优于比较算法．