基于U-net边缘生成和超图卷积的两阶段修复算法

为了有效修复背景复杂、大面积不规则缺失区域，得到合理的结构和精细的纹理，提出了基于U-net边缘生成和超图卷积的两阶段修复算法.首先，将缺失图像输入基于U-net门控卷积的粗修复网络，通过跳跃连接将图像的上下文信息向深层传播，获取丰富的图像细节信息，下采样提取缺失区域边缘特征，上采样还原缺失区域边缘细节，同时使用混合空洞卷积增大信息感受野，获取细节纹理信息.然后，将粗修复结果输入含超图卷积的细修复网络，捕获和学习输入图像中的超图结构，使用空间特征的互相关矩阵捕获空间特征结构，改善结构完整性并提升细节细粒度.最后，将细修复结果输入鉴别器进行判别优化，进一步优化修复结果.在国际公认数据集上进行实验仿真，结果显示：本文提出的算法在修复大面积不规则缺失时，可以生成合理的结构和丰富的纹理细节，修复的视觉效果，PSNR,SSIM和L1损失优于对比算法.     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

深度学习下面部缺失图像自动补全方法

考虑到传统方法在补全面部缺失图像时存在补全比例低的问题，提出了基于深度学习的面部缺失图像自动补全方法研究。利用面部缺失图像的尺度空间，计算了面部缺失图像在时间梯度上的均值。利用深度学习算法学习面部缺失图像的类别，得到面部缺失图像的像素值。通过确定面部缺失图像的像素类别，利用深度学习算法增强处理了面部缺失图像的细节分量，完成面部缺失图像的识别。通过修复面部缺失图像的遮挡部分，优化面部图像的真实性，将相似性损失计算结果作为深度学习算法的算子，提取出面部缺失图像的特征。结合面部缺失图像自动补全算法设计，实现了面部缺失图像的自动补全。试验结果表明，在不同的缺失比例下，基于深度学习的面部缺失图像自动补全方法可以提高面部缺失图像的补全比例，具有更好的补全效果。     

基于时空域数据融合的Kinect深度图像修复算法

针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题,提出一种基于时空域数据融合的深度图像修复算法。首先,对配准后的深度图像利用卡尔曼滤波使跳变深度值趋于平稳,并采用阈值分割法得到待修复区域;其次,计算待修复边界所有像素点的时空域置信度,对时空域置信度最大的像素点计算其时域和空域深度数据,并根据时空域置信度为时空数据分配权值进行数据融合,实现像素点的修复;最后,待修复边界改变,迭代执行上一步直至图像修复完成。实验结果表明:与传统修复算法相比,基于时空域数据融合的Kinect深度图像修复算法的深度图峰值信噪比更高、均方根误差更小,图像质量更好。     

基于双域信息的深度残差网络图像去噪

基于深度学习的去噪技术,通过考虑视觉伪影和整体平滑噪声,提高了图像的质量.然而,它们很少涉及边缘细节的恢复.为此,本文提出了一种基于双域信息的深度残差网络去噪模型,利用小波域信息与空间域信息的融合来扩展网络学习信息,通过在激活单元内引入多尺度学习和空洞卷积,以此提取图像特征,并减少了网络参数.为了进一步改善去噪结果,结合小波域损失和空间域损失构造联合损失函数,使得网络获取更多的边缘与细节.实验结果表明,本文提出的方法不仅可以有效去除图像噪声,而且可以更好地恢复图像纹理细节,在主观和客观评价中均获得了更好的结果.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

图像修复的方向梯度TV模型研究

基于PDE(Partial Differential Equation)的图像修复因其所具有的局部自适应特性、形式上的规范性和模型建立的灵活性而受到关注,而如何在有效的进行修复受损图像的同时很好的保留图像的细节信息成为图像修复所追求的目标.本文首先对TV(total variation)模型进行了分析和讨论,针对TV模型在图像修复时会对图像过度平滑、容易丢失细节信息等问题提出了一种改进模型,该模型通过对非线性扩散项引入方向梯度和边缘引导函数,自适应的调整了模型在图像边缘和区域信息丰富区域的平滑力度;通过计算每一次迭代时待修复点33邻域内的各向灰度差分,确定最小灰度差分的方向,从而确定了该点邻域内的图像纹理走向.本文模型克服了TV模型的弱点,在有效进行破损图像修复的同时,很好的保持了边缘和纹理细节信息.通过峰值信噪比和归一化均方误差的统计结果验证了所提模型的稳定性和有效性.     

基于四元数的边缘自适应正则化模型

通过在HSV空间的全变分模型中加入了边缘自适应约束，得到基于四元数的边缘自适应全变差模型。该模型利用HSV空间各通道的特点得到图像的边缘信息，然后自动调节选择适当的参数作为边缘约束，解决之前模型恢复图像的边缘模糊或细节缺失问题。证明了算法的全局收敛性，并使用ADMM求解。数值实验表明了提出方法的有效性。     

结构门控与纹理联合引导的生成对抗壁画修复

现有深度学习修复方法修复壁画时，受结构和纹理影响较大，修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题，提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.首先，构建由结构引导编码子网络和纹理引导解码子网络构成的生成网络，利用结构信息引导编码，并通过门控特征增强边缘轮廓信息.然后，设计纹理引导器和方向注意力模块提取分层纹理特征，引导解码器重构修复，提高壁画的纹理一致性.最后，采用跳跃连接促进结构和纹理的特征互补，并利用谱归一化马尔科夫判别模型对抗完成壁画修复.对真实敦煌壁画数字化修复实验的结果表明：所提方法主客观评价均优于比较算法，修复结果更加清晰、自然.     

结构保持图拉普拉斯正则的快速图像修复

为了让信息从周围向待修复区域填充时保持图像边缘结构，提出结构保持图拉普拉斯正则的图像修复模型.该模型在信号依赖的图拉普拉斯矩阵基础上，引入梯度图像平滑约束，能够促进目标函数的最优解收敛至分片平面图像；此外，该模型转化为无约束二次规划问题，可以通过共轭梯度法快速求解.实验结果表明，所提的图像修复算法相比于现有图像修复算法不仅速度快，而且可以克服图拉普拉斯正则图像修复算法所产生的块效应，使得复原后的图像更加自然.     

基于深度卷积神经网络的模糊字迹图像识别方法

在传统的模糊字迹图像识别过程中,忽略了字迹变化尺度对图像的影响,导致识别准确度低识别能力差的问题,提出基于深度卷积神经网络的模糊字迹图像识别方法.通过图像的退化模型,对模糊字迹图像稀疏性特征进行分解,构建模糊字迹图像的多源特征参数检测模型,结合边缘轮廓特征提取方法实现对模糊字迹图像的边界信息采样分析;采用多维参数模拟和模糊度增强处理,结合匹配滤波检测器对图像的多级尺度分解和细节特征进行提取,对提取的模糊字迹图像细节特征进行融合和优化检测,采用深度卷积神经网络训练方法进行模糊字迹图像修复处理,实现模糊字迹图像的识别.仿真结果表明,采用该方法进行模糊字迹图像识别的准确性较高,检测能力较强,提高了模糊字迹图像修复和辨识能力.     

基于全变差和P-Laplace模型的混合图像修复算法

图像修复是近年来图像处理研究的主要问题之一.在基于偏微分方程的修复算法中,全变差(total variation,TV)模型能够很好地保护图像边缘信息,但其各向异性扩散方式在平坦区域容易产生阶梯效应;而在图像平坦区域具有良好修复效果的P-Laplace模型,其各向同性扩散方式不适于修复图像边缘信息.将TV模型和P-Laplace模型有机结合起来,提出了一种混合图像修复算法.提出的扩散控制参数k能够根据待修复像素所在区域调节两种信息扩散方式的重要程度,实现混合图像修复.实验结果表明,所提算法获得了更好的修复结果.     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance, MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力，现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征，导致无法准确定位.为克服上述问题，本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法，构建了一个可以融合3维信息的2D模型，可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究，结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型，运算和推理时间相比3D模型小很多，性能却十分接近.     

深度U-Net网络在遥感山地冰川边界分割中的应用

冰川变化会对当地的气候环境、水资源环境产生重要影响，随着遥感技术的发展，通过遥感图像进行冰川提取成为相关研究的主要手段，相比于人工目视解释法会出现的耗时长、效率低、主观因素大等问题，深度学习有着一定的优势。该文基于传统U-Net语义分割网络进行冰川分割，但因受限于冰川训练集缺失，真彩色图像在冰川地区进行分割会有较大的干扰，无法凸显冰川的特征，冰川分割效率较低。因此，利用冰川的矢量数据，基于Landsat 8遥感卫星图像，建立成对的假彩色冰川分割训练集，充分利用遥感多波段图像的优势，强化冰川特征信息。同时，通过添加不同波段组合的假彩色图像，丰富冰川的分割信息，并利用Inception v1深度学习模块将两种特征信息进行融合，提升冰川分割的准确性。实验结果表明，所提方法可以有效分割出冰川范围，相比于其他深度学习方法，分割准确性有了一定的提高。     

基于ME-ANet模型的糖尿病视网膜病变分级

糖尿病视网膜病变(Diabetic Retinopathy，DR)是一种致盲率很高的眼科疾病。不同病变等级的视网膜图像之间差异小且病灶点分布无规律。针对现有深度模型对DR中的相似病灶点识别率低，严重影响模型分类精度的问题，本研究以深度学习为基础，构建新的模型架构进行训练，提出一种集成MobileNetV2和EfficientNetB0深度模型的注意力网络：ME-ANet。模型集成分为头部和主干两部分，将深度模型的浅层部分融合构成网络的头部，训练时采用迁移学习的策略对网络模型参数进行初始化，减少训练中的过拟合问题。主干部分利用上述两种模型的核心结构，设计3个阶段集成模块进行特征提取。同时设计全局注意力机制(Global Attention Mechanism，GAM)并分别嵌入到3个阶段的集成模块中。模型的改进加速了网络的收敛速度，该网络模型实现了对图像浅层信息的特征融合提取，减少了微病灶特征信息在训练过程中的卷积丢失问题，模型的分类精度进一步得到改善。通过模型集成构建特征提取主干网络，提高了模型对低级特征信息的学习，注意力机制抑制非病变特征信息，强化典型病灶特征学习，从而实现细粒度分类，进一步提升了模型的分类性能。     

细粒度全局感知多聚焦图像融合网络

多聚焦图像融合是图像融合的一个重要分支，在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题，本文从空间及通道信息全局关注的角度出发，结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络，采用综合损失函数进行图像重构任务的无监督学习；从特征邻域信息重要性的角度出发，引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别，增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较，本文算法在定性和定量分析中均取得了先进的融合性能表现，对原始图像的聚焦区域信息具有更高的保真效果.     

基于多传感器融合的越野环境路面信息识别

为实现精准的越野环境路面信息识别，文中提出了一种基于多传感器信息融合的路面信息识别方法.首先，针对车辆簧下振动加速度信号设计了特征提取算法，通过双线性池化方法融合加速度特征与图像+深度特征，以实现对越野路面类型的多维度特征融合与识别.然后，为提高越野路面可通行区域检测效果，引入迁移学习方法，将越野场景路面类型识别模型中路面特征提取的共性知识向通行区域分割模型进行迁移.在真实越野环境数据集下对模型进行训练与测试，测试结果表明文中提出的识别方法不仅在越野场景路面类型识别任务上获得了98.65%的平均分类准确率，而且引入先验知识可明显提升通行区域检测效果.     

基于形态学的图像融合算法

提出一种基于边缘连接强度的图像融合算法。利用形态学梯度算子得到图像的边缘信息。以图像灰度的边缘连接强度加权为判据,进行图像融合。实验结果表明,该图像融合方法在保留TM多光谱图像光谱分辨率的同时,通过融合SPOT全色图像提高了空间分辨率,丰富了图像细节信息。