基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

基于生成对抗网络的砂岩薄片图像视野外重建

利用生成对抗网络(GAN)模型,对砂岩薄片图像的微观颗粒和孔隙结构进行视野外重建,并对预测图像的语义进行评价。结果表明,模型能够预测2.25倍于原始视野的砂岩微观结构,并且针对不同类型的岩石图像语义均具有良好的性能。模型对不同颗粒的表面纹理、颗粒形态以及多颗粒间复杂接触关系等语义的图像视野外预测结果与真实图像较为吻合。但是,在微观特殊现象图像的视野外重建任务中,模型缺乏对特殊现象的敏感性。在孔隙结构重建时,模型对微孔面孔率的预测误差大于粒间孔、裂隙和溶蚀孔等孔隙空间。不同孔隙空间重建图像的预测效果可能与孔隙特征(如孔径大小和连通性)有关。     

基于特征类内紧凑性的不平衡医学图像分类方法

近些年,基于深度学习的算法和模型在各种图像分析任务中都取得了显著的成功,与常见的自然图像相比,医学图像数据集依然面临高度不平衡的问题,不平衡数据会导致特征空间里的决策边缘倾向样本多的类别,导致分类效果的下降.为了解决该问题,提出一种基于卷积神经网络考虑特征类内紧凑性的不平衡医学图像分类方法（Z-Score Compactness-based Convolutional Neural Network,ZC3NC）.首先,从一个卷积神经网络的最后一层卷积层提取训练集样本与测试集样本的特征图,随后引入一个新的Z分数来度量测试集数据的特征图相对训练集每个类在特征空间上的偏离度,偏离度的度量基于类内的紧凑度,其主要关注样本的分布特性,对各类样本数量的不平衡性不敏感.最终,根据计算的偏离度,对测试集的数据进行分类.在DermaMNIST数据集上的实验表明,在不对数据和神经网络模型做任何额外增强的情况下,该方法的平衡准确率比原卷积神经网络模型平均提高11.15%,最多提高14.08%,证明提出的分类方法能有效地提高多种卷积神经网络对不平衡医学图像数据的分类性能.此外,和最先进的不平衡分类方法 Und...     

不同海拔条件下柴油燃烧火焰温度和碳烟特性研究

为了研究海拔条件对柴油机冷起动阶段柴油燃烧过程的影响,在定容燃烧弹台架上模拟了平原和海拔2000 m工况下柴油机缸内的热力学状态,利用双色法获取了不同工况下柴油火焰温度和表征碳烟浓度的KL因子分布. 结果表明,随着海拔由0 m增加至2000 m,环境温度、压力同时降低产生了耦合作用,导致柴油滞燃期由2.0 ms增大至3.13 ms.海拔升高后,柴油燃烧过程中平均火焰温度降低,局部高温区域消失,KL因子总量减少. 海拔条件变化影响了碳烟特性和火焰温度的关系. 随着海拔升高,火焰温度降低,导致碳烟氧化主导阶段碳烟氧化速率降低,局部火焰温度对局部碳烟浓度的影响减小.      

抗深度取证的多粒度融合图像修复网络

数字图像的真伪判别是图像安全领域中的基础问题,因数字媒体极易被攻击篡改,针对图像的取证技术得到了广泛的研究.另一方面,对图像篡改反取证技术的研究,不仅追求更逼真的图像篡改操作,也从相反的方向促进了取证技术的发展.图像修复作为基础的图像篡改操作,一直是国内外学者的研究热点.针对被修复篡改后的图像会被深度取证网络取证的问题,提出了一种抗深度取证的多粒度融合图像修复(multi-granularity fusion-based image inpainting network resistant to deep forensics,MGFR)网络.MGFR网络包括编解码器、多粒度生成模块以及多粒度注意力模块.首先,输入的破损图像被编码器编码成深度特征,深度特征通过多粒度生成模块生成3个不同粒度中间特征;然后,采用多粒度注意力模块来计算不同粒度中间特征之间的相关性并将其融合;最后,融合特征通过解码器生成输出结果.另外,所提出的MGFR网络被重建损失、模式噪声损失、深度取证损失以及对抗损失联合监督.研究结果显示,所提出的MGFR网络在拥有较好的修复性能的同时能成功规避深度取证网络的取证.     

基于改进YOLOv5的遥感图像飞机目标检测

针对遥感图像中飞机检测尺寸大小不一、背景复杂导致的难以识别问题,提出一种基于YOLOv5网络模型的改进方法。首先,在YOLOv5网络模型中融入Swin-Transformer模块,使网络全局建模并使全维度信息交互,以提升网络的特征提取能力;其次,对损失函数进行优化,引入SIOU损失函数以考虑真实框和预测框之间的向量角度问题。对比实验表明,优化前后网络模型检测精度均为95.3%。在检测精度相同的情况下,改进后的网络模型召回率为91.2%,比改进前提升0.6个百分点;改进后平均检测精度mAP_0.5为95.7%,比改进前提升0.2个百分点。结果表明,改进后的YOLOv5网络模型能在一定程度上提升遥感图像中飞机目标检测性能。     

基于生成对抗网络的渐进式夜视图像彩色化算法

受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法, 通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.     

基于改进I-Attention U-Net的锌浮选泡沫图像分割算法

针对泡沫图像的高度复杂性导致其难以被准确分割的难题,本文提出了一种新的I-Attention U-Net网络用于泡沫图像分割.该算法以U-Net网络作为主干网络,使用Inception模块替换第一卷积池化层来提取泡沫图像的多尺度、多层次浅层特征信息;引入金字塔池化模块,通过对不同尺度的特征图求和来提升分割效果;并对自注意力门控单元进行改进,使注意力单元更适合于浮选泡沫图像的分割,强化深层特征的重要性并对不同尺寸的泡沫边界进行强化学习.研究结果表明：本文所提出算法的Jaccard系数为91.73%,Dice系数为95.66%.与同类其他分割算法结果相比,Jaccard系数及Dice系数分别提高了1.59%、0.88%.该模型能够较好地对锌浮选泡沫图像进行分割,解决欠分割与过分割的问题,为后续的泡沫特征提取奠定基础.此外,该方法检测时间和模型参数少,具备可以部署在工业现场计算机的能力,有一定的实际应用价值.     

外加电磁场对火焰结构及燃料燃烧特性的影响

燃料在电、磁场作用下的燃烧是一个新的跨学科性质的研究课题.它涉及磁流体发电、空间技术中电磁燃烧技术的应用以及能源与动力工程中能量转换与效率.本文从实验和理论两个方面,扼要地报导了碳氢燃料在外加磁场、电场影响下的火焰结构及其燃烧特性.把近年来我研究小组的主要研究结果汇总发表.     

镁合金表面热喷涂WC-10Co-4Cr粒子沉积及分布特性

为了探究高速空气燃料热喷涂（AC-HVAF）过程中喷涂粒子撞击基材后的沉积特性。采用AC-HVAF热喷涂技术在AZ80镁合金基体上沉积WC-10Co-4Cr硬质涂层。通过离散沉积实验获得薄层沉积粒子,探讨各种沉积形貌的种类、形成原因、结合机制及射流中粒子的径向和轴向分布。结果表明：在AC-HVAF粒子沉积过程中,嵌入型沉积为主要的沉积形貌,同时包含少量的破碎型与空腔型沉积粒子。在涂层的形成过程中,嵌入型沉积对涂层/基体结合性能起重要作用;空腔型沉积的小颗粒及破碎型沉积的大颗粒是造成沉积效率下降的主要原因。喷涂粒子主要集中在射流中心,越靠近射流边缘,空腔型沉积粒子越多,最终导致AC-HVAF粒子射流呈现出空间分布特征。