基于自适应感知金字塔网络的图像去雨

基于深度学习的单幅图像去雨已经取得了较大进展，但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此，本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法，能够在有效去除密集雨纹的同时对细节进行修正，显著改善去雨图像的视觉质量.首先，基于小波变换构建多尺度金字塔网络，在各尺度子网络之间进行递进式连接，实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心，设计对称跳跃连接将提取到的浅层特征反馈至深层，实现浅层特征的有效复用.其中，所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野，可有效感知雨纹特征，并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹，设计了一种多尺度损失函数，由粗及细逐步完成雨纹去除，可有效防止伪影现象.在合成和真实数据集上的大量实验表明，本文方法优于现有的主流方法，能够在去雨的同时较好地保持图像细节，视觉效果理想.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展，但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性，导致各方向雨纹去除不均匀，复原图像仍存在雨纹残留及颜色失真问题．基于此，以雨纹方向信息为导向，提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中，融入残差校正模块可学习低质量特征表示到最优特征表示的映射，校正后的网络可恢复更多高频细节；特征提取子网络包含方向引导模块和自适应循环递归模块，通过动态卷积核自适应选择与注意力机制引导，可实现不同方向、不同感受野的雨纹特征提取和融合；进一步，为了改善去雨后图像的视觉质量，设计了颜色修正模块，可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明，所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

MDF-ANet:低光照环境下的无人驾驶视觉融合分割方法

为解决低光照条件下已有图像分割模型性能降低的问题,提出了一个基于RGB和深度图特征融合网络的MDF-ANet图像分割方法.为了对原始数据进行充分的特征学习,采用两路特征提取网络分别提取RGB和深度图特征;设计了一个特征融合模块,分别将两路特征提取网络对应尺度下的输出特征图通过融合模块进行融合,并作为RGB网络下一层的输入,通过不受光照条件影响的深度图来辅助RGB的特征提取;将各个尺度输出的特征图输入多尺度上采样融合模块,进行不同感受野间的信息互补,再上采样至原始输入图像大小,得到分割图像.在Cityscapes及其转化后的低光照图像上进行了一系列实验,在其验证集上取得了62.44%的均交并比（mean intersection over union,mIOU）,相比只使用RGB输入的模型,性能提高了9.1%,达到了在低光照条件下提高图像分割性能的目的.      

基于上下文特征的视网膜血管分割算法

针对视网膜血管分布复杂且多变,提出一种基于上下文特征提取的视网膜血管分割算法.首先通过霍特林变换(Karhunen-Loeve,K-L)生成灰度图并经过预处理增强对比度.然后经过局部信息熵进行采样.该网络编码部分的多感受野残差编码模块在兼顾速度的同时对特征进行充分的提取.同时底部的特征融合模块由非对称融合非局部模块和非...     

基于窗口自注意力网络的单图像去雨算法

单图像去雨研究旨在利用退化的雨图恢复出无雨图像，而现有的基于深度学习的去雨算法未能有效地利用雨图的全局性信息，导致去雨后的图像损失部分细节和结构信息.针对此问题，提出一种基于窗口自注意力网络(Swin Transformer)的单图像去雨算法.该算法网络主要包括浅层特征提取模块和深度特征提取网络两部分.前者利用上下文信息聚合输入来适应雨痕分布的多样性，进而提取雨图的浅层特征.后者利用Swin Transformer捕获全局性信息和像素点间的长距离依赖关系，并结合残差卷积和密集连接强化特征学习，最后通过全局残差卷积输出去雨图像.此外，提出一种同时约束图像边缘和区域相似性的综合损失函数来进一步提高去雨图像的质量.实验表明，与目前单图像去雨表现优秀的算法MSPFN、 MPRNet相比，该算法使去雨图像的峰值信噪比提高0.19 dB和2.17 dB,结构相似性提高3.433%和1.412%,同时网络模型参数量下降84.59%和34.53%,前向传播平均耗时减少21.25%和26.67%.     

基于非下采样Contourlet变换和PCNN的表面缺陷自动识别方法

基于多尺度几何分析的表面缺陷特征提取方法中,常用的可分离二维Wavelet基是各向同性的,无法有效表示图像的纹理和边缘,且通常对多尺度分解系数所提取的特征不全面.提出基于非下采样Contourlet变换(NSCT)和脉冲耦合神经网络(PCNN)的特征提取方法,并应用于冷轧带钢表面缺陷自动识别.首先用NSCT对缺陷图像进行多尺度多方向分解;然后将子带图像输入PCNN迭代点火,计算点火图的熵序列作为子图的特征,合并各子图特征得到原图的特征向量;最后用支持向量机进行分类识别.该方法能够全面准确提取缺陷图像信息,尤其是纹理边缘等方向信息,且方法可并行实现,PCNN不需要训练.利用从生产线现场采集的缺陷图像对文中方法进行了试验,识别率达95.44%.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于计盒维数和多小波的静脉图像特征提取

为提高静脉识别过程中的特征匹配速度,提出了一种基于计盒维数全局特征和多小波的局部特征提取方法.该方法首先采用基于计盒维数法的特征提取技术来提取静脉纹理粗糙度特征作为全局特征,然后通过多小波分解来提取静脉图像的局部特征,分别提出了一维系数编码和多尺度量化编码的方法来描述静脉局部特征.对已有静脉图像的实验表明,提出的特征提取方法有效,并使相应匹配算法识别的准确率得到了提高.     

基于残差注意力和金字塔上采样的图像语义分割

针对图像语义分割中,存在细节信息丢失、分割类别边缘模糊而粗糙的问题,在编码解码结构的基础上,结合残差模块和注意力机制,设计一种残差注意力模块.通过注意力机制加强特征图通道之间的联系,以提升语义分割的细腻度.为提高模型对多尺度物体的识别能力,结合金字塔模型,设计一种金字塔上采样模块.利用编码过程中产生的不同尺度的特征图,...     

一种新型Mobile Unet网络的肺结节图像分割方法

针对医学图像分辨率小、边缘模糊、感兴趣区域(ROI)边界不明显造成的分割不准确性问题,提出一种新型Mobile Unet网络的肺结节图像分割方法.该方法首先使用MobileNet中bneck模块替换Unet网络的下采样部分,并对输入图像进行特征提取;然后,将下采样提取的特征按照Unet网络连接方式融合到上采样部分;最后...     

基于对比学习的单幅图像去雾算法

现有的图像去雾算法,只采用了清晰图像来指导去雾网络的训练,而没有利用模糊图像,从而造成去雾不彻底,细节信息不完整的问题。为此提出了一种对比正则化的方法,利用模糊图像和清晰图像共同指导去雾网络的训练。对比正则化保证恢复后的图像信息向清晰图像方向靠近,远离模糊图像的方向。此外提出一种新的金字塔通道的特征自适应融合网络。该网络包含3个部分：三尺度特征提取网络、特征自适应混合模块(PCFM)和图像重建模块。三尺度特征提取模块同时捕捉不同尺度特征。金字塔结构和特征自适应融合操作,有效地提取相互依赖地特征,并以金字塔的方式有选择性地聚集更重要的特征。图像重建模块用于重建特征,恢复清晰的图像。实验结果表明,与现有的经典去雾算法相比,客观评价指标：峰值信噪比(PSNR)和结构相似性(SSIM)都得到了提升,并改善了去雾不彻底和颜色失真的现象。     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

基于改进RPN的Faster-RCNN网络SAR图像车辆目标检测方法

针对传统Faster-RCNN方法中候选区域生成网络(RPN)模块在进行目标检测时对目标特征提取不够充分的问题,提出一种基于改进RPN的Faster-RCNN网络SAR图像车辆目标检测方法.首先基于VGG-16网络提取出图片的多层特征,然后利用卷积核对最深的3个特征层作进一步的特征提取和正则化处理,最后对处理后的3个特...     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于多维动态纹理分析的烟雾检测算法

为了提高动态纹理特征分析的可靠性且降低计算量,提出了一种基于多维动态纹理分析的烟雾检测算法。该算法在预处理阶段利用ICA烟雾前景初步分离烟雾模型得到初步烟雾前景,然后通过GBVS提取多通道、多尺度的底层特征得到烟雾前景显著区域,以提高前景目标检测阶段对烟雾前景的分割精确度;在烟雾特征提取阶段,提出基于多维特征分析的烟雾特征提取检测方法(h-LDS/RGBH),该方法首先经过烟雾颜色和背景差分预处理得到烟雾候选区域,然后在四维图像块中引入RGB和HOG特征,最后基于对多维图像数据的高阶分解,分析烟雾视频的动态特征。多维动态纹理分析(h-LDS/RGBH)改善了烟雾特征提取阶段所提取的烟雾特征稳定性不高且对烟雾的判断准则过于简单的缺点,提高了动态纹理特征分析的可靠性。实验表明,其检测率高于LDS和h-LDS/RGB的识别率。实验表明,该算法的检测率高于LDS和h-LDS/GRB.