基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

一种改进的深度网络残差学习的图像降噪方法

近年来,基于深度卷积神经网络的学习方法在图像降噪方面取得了前所未有的成果,通过调整网络结构和参数来获取更好的图像降噪效果已成为研究热点.降噪卷积神经网络在深度神经网络中采用残差学习方法,在提高降噪效果的同时,在一定程度上解决了盲降噪问题.其不足之处在于算法收敛时间长.该文针对降噪卷积神经网络结构做了进一步的改进,提出了一种基于反卷积降噪神经网络的图像降噪算法.该文工作的主要特色如下：1) 在原有的网络结构中,引入反卷积神经网络,优化了残差学习方式;2) 提出一种新的损失函数计算方法.使用BSD68和SET12测试数据集对本文提出的方法进行验证,实验结果表明,该文算法的降噪性能与降噪卷积神经网络算法相比,在相同降噪效果情形下,该文算法的收敛时间缩短了120%～138%.同时,与传统的深度学习图像降噪算法比较,该文方法的降噪效果和运行效率也都有提高.     

基于多边缘信息融合的图像修复模型

提出了一种基于多边缘信息融合的深度学习图像修复模型MEC,将图像修复任务解耦为边缘信息修复任务和条件图像修复任务。首先，MEC通过边缘信息修复网络对缺失图像的多种边缘信息进行修复；之后，修复的边缘信息通过信息融合作为先验知识来辅助缺失图像的修复。实验结果表明，MEC的修复结果无论是在直观感受还是在量化指标上都比现有的深度学习图像修复模型有进一步的提升。     

深度模型集成的不良图像分类

移动通信技术的飞速发展在提升用户通信体验的同时也为不良信息的散布提供了便利,针对如何在大量数据中进行不良内容的识别与过滤问题,提出一种基于深度模型集成的不良图像分类模型(EDM),通过集成多个结构不同、信息互补的深度模型来最优地区分分布差异较大的不良图像.为了验证本方法的有效性,建立一个真实移动通信场景下的不良图像数据集,并在此数据集上与基于传统支持向量机(SVM)的不良图像分类模型、基于深度卷积神经网络的Alexnet、VGG与Googlenet分类模型做对比.实验结果表明:本文所提深度模型集成方法在不良图像分类性能上明显优于其他模型,分类精度、精确率和召回率分别达到94%、84%和98%.     

一种基于深度学习的卫星遥感图像分割方法

近年来,基于深度学习的语义分割方法得到了广泛应用.本文针对实际遥感图像中的语义分割问题,为了减少网络参数和计算量,以及提高网络性能,提出了一个使用通道注意力机制的卷积神经网络(channel attention network,CA-Net).首先,对高分二号(GF-2)遥感图像进行预处理和数据标注,得到一个7分类数据...     

基于深度卷积神经网络的模糊字迹图像识别方法

在传统的模糊字迹图像识别过程中,忽略了字迹变化尺度对图像的影响,导致识别准确度低识别能力差的问题,提出基于深度卷积神经网络的模糊字迹图像识别方法.通过图像的退化模型,对模糊字迹图像稀疏性特征进行分解,构建模糊字迹图像的多源特征参数检测模型,结合边缘轮廓特征提取方法实现对模糊字迹图像的边界信息采样分析;采用多维参数模拟和模糊度增强处理,结合匹配滤波检测器对图像的多级尺度分解和细节特征进行提取,对提取的模糊字迹图像细节特征进行融合和优化检测,采用深度卷积神经网络训练方法进行模糊字迹图像修复处理,实现模糊字迹图像的识别.仿真结果表明,采用该方法进行模糊字迹图像识别的准确性较高,检测能力较强,提高了模糊字迹图像修复和辨识能力.     

基于深度学习的图像标注

随着个人计算机和互联网上数字图像数量的快速增长,用户越来越多借助于"语义概念"来检索感兴趣图像。然而由于图像底层特征刻画和高层语义概念描述间存在很大的差异,使得现有图像标注算法性能不甚理想。因此,文中提出基于多模态深度学习的图像标注框架,旨在应用卷积神经网络技术优化深层神经网络的参数,提高标注精度。具体地,文中提出的多模态深度学习标注框架利用两阶段学习,优化神经网络参数:(1)利用深度神经网络,优化各单模态参数;(2)利用相关性,实现多模态的最优组合。公共数据集的实验表明,该方案可以有效地提高图像标注的性能。     

基于深度学习One-stage方法的焊缝缺陷智能识别研究

目前基于深度学习的卷积神经网络在对焊缝缺陷射线图像进行智能识别时,多采用基于候选区域的two-stage方法,检测速度难以满足实时性要求.针对该问题,提出基于深度卷积神经网络的one-stage焊缝缺陷识别定位算法,将整张图像输入网络,并直接在输出图像上标定目标缺陷位置及类别.通过采用特征金字塔、减小网络深度、引入跳跃...     

深度学习下面部缺失图像自动补全方法

考虑到传统方法在补全面部缺失图像时存在补全比例低的问题，提出了基于深度学习的面部缺失图像自动补全方法研究。利用面部缺失图像的尺度空间，计算了面部缺失图像在时间梯度上的均值。利用深度学习算法学习面部缺失图像的类别，得到面部缺失图像的像素值。通过确定面部缺失图像的像素类别，利用深度学习算法增强处理了面部缺失图像的细节分量，完成面部缺失图像的识别。通过修复面部缺失图像的遮挡部分，优化面部图像的真实性，将相似性损失计算结果作为深度学习算法的算子，提取出面部缺失图像的特征。结合面部缺失图像自动补全算法设计，实现了面部缺失图像的自动补全。试验结果表明，在不同的缺失比例下，基于深度学习的面部缺失图像自动补全方法可以提高面部缺失图像的补全比例，具有更好的补全效果。     

基于深度学习的X射线焊缝缺陷识别

为了提高缺陷识别效率,提出利用基于深度学习网络进行焊缝缺陷识别。在分析X射线焊缝缺陷图像特征的基础上,构建一种基于模拟视觉感知原理的深度学习网络结构,并对卷积神经网络的卷积模板大小及层数进行了分析,对卷积神经网络隐藏层中2种不同的激活函数进行了实验验证,针对性地提出优化方法。该深度学习神经网络可以避免对焊缝缺陷图像特征的提取,直接判断疑似缺陷图像是否为缺陷。对580张图像进行了实验,结果表明,本文所提方法对SDR图像的识别准确率超过98%,优于传统方法。且所设计系统具有自动学习X射线焊缝缺陷图像中复杂的深度特征的特点,实用性较强。     

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

基于深度学习的眼角膜图像自动化分析研究

为使本科生了解生物医学影像处理技术,掌握深度学习方法,结合吉林大学大学生创新创业训练计划,设计了"基于深度学习的眼角膜图像自动化分析研究"实验项目.在研发治疗角膜新生血管(CNV:Corneal Neovascularization)等疾病的药物过程中,人们需要观察并获取小鼠眼角膜血管在药物影响下的生长情况及数据.为此设计了基于深度学习的眼角膜图像自动化分析程序,以合作医院提供的经凝胶处理的小鼠眼角膜图像为项目研究对象,通过Matlab工具以及神经网络等深度学习算法完成对眼角膜特征的提取和分割.采用SegNet语义分割网络和基于SVM(Support Vector Machine)的图像分割两种方法实现小鼠眼角膜图像的自动提取,分析了两种方法下眼角膜提取的精度与可靠性.结果 表明,使用SegNet语义分割网络得到的结果精度较高,其准确率可以达到97.75％.     

基于特定深度内部学习网络提高"不理想"图像分辨率

现有基于深度学习的图像分辨率提升方法中需耗费大量时间训练,且受限于特定的训练数据等问题。本文引入“零射击”超分辨率概念,可以重复利用已有照片、噪声图像、生物数据以及获取过程未知或非理想的其他图像的相关内部信息,以提高其分辨率。在测试阶段训练一个小的图像特定卷积神经网络,仅需对从输入图像本身提取的示例进行训练；然后通过单个图像内部信息再现,进一步利用图像内部相关信息,以增强图像分辨率。实验结果表明,本文算法可以加快训练速度且不需要标准训练集,图像分辨率优于现有基于卷积神经网络的超分辨率方法,以及已有的无监督超分辨率方法。     

基于深度神经网络剪枝的两阶段遥感图像目标检测

在高分辨率遥感图像目标检测中,受云雾、光照、复杂背景、噪声等因素影响,现有目标检测方法虚警率高、速度慢、精确度低.为此提出基于深度神经网络剪枝的两阶段目标检测(object detection based on deep pruning,ODDP)方法.首先,给出深度神经网络剪枝方法,基于深度神经网络剪枝分别提出自主学习区域提取网络算法与优化训练分类网络算法;然后,将上述两算法用于卷积神经网络,得到两阶段目标检测模型.实验结果表明,在NWPU VHR-10高分辨率遥感数据集上,相比现有目标检测方法,ODDP的检测速度和精度均有一定提升.     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

基于深度图像预旋转的手势估计改进方法

基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.     

基于DCNN的图像语义分割综述

图像的语义分割是计算机视觉中重要的基本问题之一,其目标是对图像的每个像素点进行分类,将图像分割为若干个视觉上有意义的或感兴趣的区域,以利于后续的图像分析和视觉理解.近年来,深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的出现,极大地推动了语义分割的发展.本文从语义分割的基本定义出发,对语义分割中存在的困难和挑战进行了分析和描述.总结了目前用于评测语义分割算法的典型数据库,并以PASCAL VOC数据库为主线对近年来基于DCNN的语义分割算法进行了梳理和总结.最后对语义分割未来的研究重点进行了探讨和预测.     

一种用于甲骨字符提取的双分支融合网络

为了从甲骨拓片图像中自动提取甲骨字符信息,本文基于深度神经网络构建了一个甲骨字符提取的双分支融合网络(dual-branch fusion network for extracting Oracle characters,EOCNet).EOCNet包含3个基本特点:首先,为了能够利用生成网络较强的结构信息描述能力,E...     

基于深度学习的图像超分辨率重建方法综述

图像超分辨率重建(super-resolution, SR)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在目标检测、医学成像和卫星遥感等领域都有着重要的应用价值.近年来,随着深度学习的迅速发展,基于深度学习的图像超分辨率重建方法取得了显著的进步.为了把握目前基于深度学习的图像超分辨率重建方法的发展情况和研究热点,对一些最新的基于深度学习的图像超分辨率重建方法进行了梳理,将它们分为两大类(有监督的和无监督的)分别进行阐述.然后,在公开的数据集上,将主流方法的性能进行了对比分析.最后,对基于深度学习的图像超分辨率重建方法进行了总结,并对其未来的研究趋势进行了展望.     

双通道多感知卷积神经网络图像超分辨率重建

基于深度卷积神经网络的单幅图像超分辨率重建取得了显著研究成果.但随着深度卷积神经网络规模的不断扩大,如何降低网络构建难度和计算成本成为一个难点.为此,提出了一种双通道多感知卷积神经网络(DMCN)模型.该模型在两条具有不同卷积核的通道上建立了稠密连接,并构建了带有动态调节能力的层间融合结构.这种结构的设计使得小规模卷积神经网络便能获得图片特征信息的全面感知能力.实验结果表明,DMCN重建效果优于目前多数具有代表性的重建算法.