利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

局部二值平均熵模式与深度残差网络的人群密度估计

针对人群密度估计算法中场景的人群遮挡、尺度光照变化、噪声和低分辨率等问题,提出了一种结合局部二值熵值纹理特征(ELBP)与深度残差网络的人群密度估计算法。该算法首先在原始RGB人群图像上提取LBP特征;然后通过计算邻域像素点的平均信息熵模式构建ELBP纹理特征;随后基于ELBP纹理特征构建了一个深度为18层的深度残差网络;最后形成了对人群密度估计的end-to-end模式。为验证算法的可行性和有效性,在开源的人群密度估计数据集上进行实验。首先邀请10位专家对开源的数据集进行有效的人群聚集标注作为真实输出标签;随后采用研究提出的算法对人群密度完成估计,并与真实结果进行比较。另外,在三种不同的特征和三种不同的机器学习模型上进行了横向比较。实验结果表明,提出的ELBP纹理特征能够很好地应对噪声和低分辨率问题;深度残差网络则能够解决人群遮挡、尺度光照变化的问题。与传统算法相比,提出的算法能够提升人群密度估计的性能。     

基于参考图像的膝关节MRI超分辨率重建算法研究

针对在膝关节MRI图像重建中,传统超分辨算法存在重建图像纹理不清晰、参考图像难以与低分辨率图像纹理严格对齐等问题,提出了一种基于参考图像的膝关节MRI超分辨率成像算法。该算法利用纹理相似性,将参考图像的迁移纹理与低分辨率图像纹理自适应地对齐,丰富低分辨率图像的细节,实现膝关节MRI超分辨率成像。纹理迁移利用残差网络与跳跃链接构成的生成网络实现。实验结果表明,与传统算法相比,该算法重建图像分辨率更高、纹理更真实。     

多尺度残差生成对抗网络的图像超分辨率重建

针对目前基于深度学习的超分辨率重建图像存在的纹理等高频信息丢失问题,提出了多尺度残差生成对抗网络的图像超分辨率重建算法。首先,使用Dense-Res2Net模块替代SRGAN生成网络中原本的残差模块,并且组合特征压缩与激发网络（SENet）从多个尺度自适应地提取浅层特征信息。其次,引入全变分正则化损失（TV loss）指导生成器训练。最后,使用Wasserstein距离优化对抗损失,提高网络训练稳定性。实验结果表明,该算法重建出的图像在视觉效果上保留了更加丰富的高频细节,与当前主流超分算法相比,该方法不仅有更高的峰值信噪比（PNSR）与结构相似性（SSIM）,且学习感知图像块相似度（LPIPS）的分数上均优其他算法。     

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

基于多尺度特征融合的超分辨率重建算法研究

超分辨率重建技术可以提高图像质量,使原图像具有更丰富的细节信息。针对现有的超分辨率重建算法存在提取特征单一、不利于对图像信息进一步提取的问题,提出了一种基于多尺度特征融合的超分辨率重建算法。采用多特征提取模块获取更多浅层信息,并在网络中添加密集连接结构,增强特征的传播,减少相关参数计算,减轻梯度消失问题。在Set5和Set14基准数据集上进行了测试,并在电力巡检数据集上进一步验证了算法的有效性。与主流的超分辨率重建方法进行了对比,实验结果表明,该方法生成的图像有更加丰富的细节信息,能够有效地改善图像质量,峰值信噪比与结构相似度值较其他主流算法均有一定的提高。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

基于改进U-Net 神经网络的图像去噪算法

摘要：针对目前常见的U-Net网络结构以及现有的图像去噪算法在去除图像噪声时，处理后得到的图像较为模糊且图像的边缘纹理过于光滑缺乏真实性的问题，提出了一种改进的U-Net网络结构去噪算法。它由去噪模块以及边缘信息提取模块组成,首先,利用 U-Net＋＋中的跳跃连接应用到原始的U型去噪子网中,密集连接的U型去噪网络可以減少编码器与解码器特征映射之间的语义差距,还原出更清晰的图像。其次,基于VGG-16网络结构的边缘信息提取模块对去噪网络处理后的图像进行特征提取,同时反向优化U型去噪模块，还原出更真实的图像。实验表明，在常见的 Set5、Set12、Kodak24和CBSD68 数据集上测试所提出的算法，在图像的客观评价指标上均优于目前具有代表性的去噪算法，同时图像的边缘细节和纹理特征更清晰真实,视觉效果上更好。     

RGB and LBP-texture deep nonlinearly fusion features for fabric retrieval

Fabric retrieval is very challenging since problems like viewpoint variations, illumination changes, blots, and poor image qualities are usually encountered in fabric images. In this work, a novel deep feature nonlinear fusion network(DFNFN) is proposed to nonlinearly fuse features learned from RGB and texture images for improving fabric retrieval. Texture images are obtained by using local binary pattern texture(LBP-Texture) features to describe RGB fabric images. The DFNFN firstly applies two feature learning branches to deal with RGB images and the corresponding LBP-Texture images simultaneously. Each branch contains the same convolutional neural network(CNN) architecture but independently learning parameters. Then, a nonlinear fusion module(NFM) is designed to concatenate the features produced by the two branches and nonlinearly fuse the concatenated features via a convolutional layer followed with a rectified linear unit(ReLU). The NFM is flexible since it can be embedded in different depths of the DFNFN to find the best fusion position. Consequently, DFNFN can optimally fuse features learned from RGB and LBP-Texture images to boost the retrieval accuracy. Extensive experiments on the Fabric 1.0 dataset show that the proposed method is superior to many state-of-the-art methods.     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

基于双域信息的深度残差网络图像去噪

基于深度学习的去噪技术,通过考虑视觉伪影和整体平滑噪声,提高了图像的质量.然而,它们很少涉及边缘细节的恢复.为此,本文提出了一种基于双域信息的深度残差网络去噪模型,利用小波域信息与空间域信息的融合来扩展网络学习信息,通过在激活单元内引入多尺度学习和空洞卷积,以此提取图像特征,并减少了网络参数.为了进一步改善去噪结果,结合小波域损失和空间域损失构造联合损失函数,使得网络获取更多的边缘与细节.实验结果表明,本文提出的方法不仅可以有效去除图像噪声,而且可以更好地恢复图像纹理细节,在主观和客观评价中均获得了更好的结果.     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.