注意力残差密集网络的单幅图像去雾算法

针对现有去雾方法色彩失真、去雾不彻底、细节丢失等问题,提出一种模块化的端到端的单幅图像深度去雾网络.首先,利用多尺度卷积核对输入有雾图像提取充分的关键特征;其次,构建由残差密集块及上、下采样单元形成的行和列的网格网络结构,行列之间通过一种新颖的注意力机制进行特征融合与提取;最后,由残差密集块和卷积层构成的后处理模块进一步减少去雾图像的残余伪影.定量和定性实验结果表明,所提方法去雾性能优越.     

基于密集残差网络的图像隐藏方案

针对基于编-解码器网络的图像隐写方案生成的含密图像和消息图像质量不高的问题,提出了一种新的基于密集残差连接的编码器-解码器隐写方案,与现有的端到端图像隐写网络不同,本文采用密集残差连接,将浅层网络的特征输送到深层网络结构的每一层,有效的保留了特征图的细节信息,并使用通道和空间注意力模块对特征进行筛选,提高了编-解码器对图像复杂纹理区域的关注度。在LFW、PASCAL-VOC12和ImageNet数据集的实验结果表明,在保证算法安全性的前提下,所提方法能够有效提高图像质量,含密图像和载体图像的峰值信噪比(PSNR)和结构相似性(SSIM)的平均值最高达到了36.2dB和0.98。     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

一种改进的卷积神经网络的室内深度估计方法

针对单幅图像的室内深度估计缺少显著局部或全局特征问题,提出了一种基于多种网络(全卷积网络分别与通道注意力网络、残差网络结合)构成的编码器解码器结构.该网络采用端到端的学习框架.首先使用全卷积网络与通道注意力网络结合的全卷积通道注意力网络模块作为编码器,通过信道信息获取全局感受野,提高特征图精度,并适当地将全连接层改为卷积层以达到减少网络参数的目的.然后将全卷积网络与残差网络结合构成的上采样模块作为解码器,利用ResNet的特点——跳层连接,将解码器网络加深,提高深度图的精度,将卷积网络与残差网络结合,实现端对端,并减少网络运行所用时间.最后,使用L1损失函数优化模型.在公开数据集NYUDepth v2的测试下,实验结果表明,和现有的其他单目深度估计方法相比,本文所提出的网络模型不仅精简了繁琐的精化粗图的过程,而且所预测的深度图精度更高,阈值精度的提升不少于0.5%,运行网络结构的平均用时21 ms,为实现实时性奠定了基础,具有一定的理论研究价值和实际应用价值.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器 解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维 LaTeX 序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。     

基于特征稀疏化的粉尘图像深度预测

【目的】针对粉尘环境中单幅图像深度预测精度低的问题，提出了一种基于输入特征稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络，利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架，编码器中使用残差网络(ResNet)对粉尘图像进行编码，设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法，以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-Depth-v2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深度信息，平均相对误差降低到0.054,均方根误差降低到0.610,在δ<1.25时准确率达到0.967.     

基于方向引导的残差去雨网络

基于深度学习的单幅图像去雨已经取得了较大进展，但现有的图像去雨方法大多没有考虑真实场景中雨纹方向的多样性，导致各方向雨纹去除不均匀，复原图像仍存在雨纹残留及颜色失真问题．基于此，以雨纹方向信息为导向，提出了一种基于雨纹方向引导的残差去雨网络．该网络由带有残差校正模块的编解码主干网络、基于方向引导的特征提取子网络以及颜色修正模块组成．在主干网络中，融入残差校正模块可学习低质量特征表示到最优特征表示的映射，校正后的网络可恢复更多高频细节；特征提取子网络包含方向引导模块和自适应循环递归模块，通过动态卷积核自适应选择与注意力机制引导，可实现不同方向、不同感受野的雨纹特征提取和融合；进一步，为了改善去雨后图像的视觉质量，设计了颜色修正模块，可以对复原图像的色彩信息进行补偿．在合成和真实数据集上的实验表明，所提方法可在彻底去除雨纹的同时保持细节丰富、颜色自然．     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...