基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

基于生成对抗网络的砂岩薄片图像视野外重建

利用生成对抗网络(GAN)模型,对砂岩薄片图像的微观颗粒和孔隙结构进行视野外重建,并对预测图像的语义进行评价。结果表明,模型能够预测2.25倍于原始视野的砂岩微观结构,并且针对不同类型的岩石图像语义均具有良好的性能。模型对不同颗粒的表面纹理、颗粒形态以及多颗粒间复杂接触关系等语义的图像视野外预测结果与真实图像较为吻合。但是,在微观特殊现象图像的视野外重建任务中,模型缺乏对特殊现象的敏感性。在孔隙结构重建时,模型对微孔面孔率的预测误差大于粒间孔、裂隙和溶蚀孔等孔隙空间。不同孔隙空间重建图像的预测效果可能与孔隙特征(如孔径大小和连通性)有关。     

基于特征类内紧凑性的不平衡医学图像分类方法

近些年,基于深度学习的算法和模型在各种图像分析任务中都取得了显著的成功,与常见的自然图像相比,医学图像数据集依然面临高度不平衡的问题,不平衡数据会导致特征空间里的决策边缘倾向样本多的类别,导致分类效果的下降.为了解决该问题,提出一种基于卷积神经网络考虑特征类内紧凑性的不平衡医学图像分类方法（Z-Score Compactness-based Convolutional Neural Network,ZC3NC）.首先,从一个卷积神经网络的最后一层卷积层提取训练集样本与测试集样本的特征图,随后引入一个新的Z分数来度量测试集数据的特征图相对训练集每个类在特征空间上的偏离度,偏离度的度量基于类内的紧凑度,其主要关注样本的分布特性,对各类样本数量的不平衡性不敏感.最终,根据计算的偏离度,对测试集的数据进行分类.在DermaMNIST数据集上的实验表明,在不对数据和神经网络模型做任何额外增强的情况下,该方法的平衡准确率比原卷积神经网络模型平均提高11.15%,最多提高14.08%,证明提出的分类方法能有效地提高多种卷积神经网络对不平衡医学图像数据的分类性能.此外,和最先进的不平衡分类方法 Und...     

抗深度取证的多粒度融合图像修复网络

数字图像的真伪判别是图像安全领域中的基础问题,因数字媒体极易被攻击篡改,针对图像的取证技术得到了广泛的研究.另一方面,对图像篡改反取证技术的研究,不仅追求更逼真的图像篡改操作,也从相反的方向促进了取证技术的发展.图像修复作为基础的图像篡改操作,一直是国内外学者的研究热点.针对被修复篡改后的图像会被深度取证网络取证的问题,提出了一种抗深度取证的多粒度融合图像修复(multi-granularity fusion-based image inpainting network resistant to deep forensics,MGFR)网络.MGFR网络包括编解码器、多粒度生成模块以及多粒度注意力模块.首先,输入的破损图像被编码器编码成深度特征,深度特征通过多粒度生成模块生成3个不同粒度中间特征;然后,采用多粒度注意力模块来计算不同粒度中间特征之间的相关性并将其融合;最后,融合特征通过解码器生成输出结果.另外,所提出的MGFR网络被重建损失、模式噪声损失、深度取证损失以及对抗损失联合监督.研究结果显示,所提出的MGFR网络在拥有较好的修复性能的同时能成功规避深度取证网络的取证.     

基于改进YOLOv5的遥感图像飞机目标检测

针对遥感图像中飞机检测尺寸大小不一、背景复杂导致的难以识别问题,提出一种基于YOLOv5网络模型的改进方法。首先,在YOLOv5网络模型中融入Swin-Transformer模块,使网络全局建模并使全维度信息交互,以提升网络的特征提取能力;其次,对损失函数进行优化,引入SIOU损失函数以考虑真实框和预测框之间的向量角度问题。对比实验表明,优化前后网络模型检测精度均为95.3%。在检测精度相同的情况下,改进后的网络模型召回率为91.2%,比改进前提升0.6个百分点;改进后平均检测精度mAP_0.5为95.7%,比改进前提升0.2个百分点。结果表明,改进后的YOLOv5网络模型能在一定程度上提升遥感图像中飞机目标检测性能。     

基于生成对抗网络的渐进式夜视图像彩色化算法

受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法, 通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.     

基于改进I-Attention U-Net的锌浮选泡沫图像分割算法

针对泡沫图像的高度复杂性导致其难以被准确分割的难题,本文提出了一种新的I-Attention U-Net网络用于泡沫图像分割.该算法以U-Net网络作为主干网络,使用Inception模块替换第一卷积池化层来提取泡沫图像的多尺度、多层次浅层特征信息;引入金字塔池化模块,通过对不同尺度的特征图求和来提升分割效果;并对自注意力门控单元进行改进,使注意力单元更适合于浮选泡沫图像的分割,强化深层特征的重要性并对不同尺寸的泡沫边界进行强化学习.研究结果表明：本文所提出算法的Jaccard系数为91.73%,Dice系数为95.66%.与同类其他分割算法结果相比,Jaccard系数及Dice系数分别提高了1.59%、0.88%.该模型能够较好地对锌浮选泡沫图像进行分割,解决欠分割与过分割的问题,为后续的泡沫特征提取奠定基础.此外,该方法检测时间和模型参数少,具备可以部署在工业现场计算机的能力,有一定的实际应用价值.     

改进的SIFT特征匹配算法

针对SIFT特征匹配算法在特征空间中进行历遍搜索,匹配速度慢的问题,提出一种金字塔层间匹配算法。首先,根据特征点所处金字塔层不同将特征点划分为不同的集合,其次,选择待配准图像金字塔中某一层集合,在基准图像金字塔中寻找相似层,并确定待配准图像金字塔与基准图像金字塔层之间的相似关系,最后,在相似层之间寻找匹配点。待配准图像中的选择层集合由金字塔底层到顶层,寻找相似层所用时间依次缩短。与原算法相比,该算法具有相同的旋转稳定性。将该算法与原算法分别应用实际图像配准中,结果表明:可见光图像配准中,匹配速度提高了3.2倍,正确匹配率提高了10.3％,红外图像配准中,匹配速度提高1.4倍,正确匹配率达到100％。     

链佐菌素对大鼠胰岛损伤的病理形态免疫组化研究

应用胰岛素,胰高血糖素和生长抑素抗血清,通过免疫组化染色对正常（对照组）和ＳＴＺ诱导的糖尿病大鼠（实验组）胰岛的病理形态进行了观察。结果显示：实验组胰岛Ｂ细胞发生明显变性坏死,对照组与实验组表达胰岛素呈阳性的胰岛分别为９２．４％,２３．３％,二者之间的显著性差异（Ｐ〈０．００１）,实验线胰岛素的表达胰岛胞具有直接损伤作用,Ａ细胞的增生可能与ＳＴＺ有关,并参与升高血糖和胰岛素含量降低效应。     

MRI表现在脑胶质瘤恶性度诊断中的作用

本文比较了１０７例脑胶质瘤的病理分级与磁共振影像表现,结果显示两者之间有密切的关系（Ｐ＜０００５）。高度恶性胶质瘤中,ＭＲＩ诊断正确率为８８１０％,而低度恶性胶质瘤中为６４６２％（Ｐ＜０００５）。各单项ＭＲＩ表现,如病灶强化程度、瘤周水肿程度、囊变、坏死等在高或低度恶性胶质瘤中出现率无明显差异（Ｐ值均大于００５）。表明ＭＲＩ表现可在很大程度上反映脑胶质瘤的恶性程度,但在低度恶性胶质瘤中,易出现“过诊断现象”。