基于仿生视觉机制的红外与可见光图像融合

为实现红外图像与可见光图像的融合,设计了以响尾蛇的视觉成像机制为基础的红外图像与可见光图像融合神经网络结构.首先根据双模式细胞的6种响应模式,得到红外和可见光图像的6种响应结果,然后以视觉感受野数学模型为基础,将6种双模式细胞响应输入到由ON对抗系统和OFF对抗系统组成的双层网络结构中,最后输出R、G和B 3个通道的映...     

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

红外与可见光图像融合的人脸识别算法

红外图像为解决可见光图像中人脸部受光照的影响提供处理方法,但是红外图像有两大缺陷:一个是红外对周围环境温度变化比较敏感;另一个是红外对玻璃具有非穿透性.与红外图像相比,可见光图像能克服上述问题.由于以上原因,给出了一种基于小波变换的红外与可见光图像融合的人脸识别方法.该方法利用小波变换对每一图像进行多尺度分解,然后利用基于区域能量法寻找最优融合算子去构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像.使用Equinox公司的人脸数据库,对融合图像和可见光图像分别进行了基于Fisher脸的人脸识别验证.仿真结果表明,利用该融合算法所获得的融合图像比单一可见光图像具有更好的识别性能.     

基于CBAM-DDcGAN的锌渣红外与可见光图像融合

对热镀锌生产线锌池中的锌渣分布进行准确识别是捞渣作业智能化的前提。红外图像易损失锌渣的纹理特征,可见光图像又容易受到光照等因素的影响,红外与可见光图像的融合是提高锌渣识别精度的有效手段。本文提出一种结合卷积注意力机制模块(CBAM)和双判别器生成对抗网络(DDcGAN)的红外与可见光图像融合算法。首先,生成器内部采用编解码网络,编码器采用密集连接方式,与CBAM相结合,在最大程度地保留图像特征的同时还能突出关键特征,抑制无用信息,提升融合效果。其次,利用两个判别器与生成器分别进行对抗训练,可同时保留两种源图像的信息。采用锌渣图像数据集进行对比实验,结果表明,本文算法所得融合图像在主观视觉效果和客观定量指标上均有不同程度的改善。     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

基于残差网络的红外与可见光图像融合方法

图像融合利用了红外与可见光图像在时空上的相关性及信息上的互补性,让图像更有利于人眼的识别和机器的自动探测。现有的方法许多都存在伪影或目标信息模糊的情况,针对这些问题本文提出了一种带有残差块的编码器融合框架以提取红外与可见光图像中的深层特征;为了更好地融合红外光图像的目标信息和可见光图像所包含的细节信息,在特征融合阶段加入注意力机制得到注意力图对深层特征进行融合;最后通过跳跃连接将第一二层得到的特征图,即浅层特征传递到相应的反卷积层进行处理,得到融合图像。实验结果表明,本文方法的融合结果在主观感觉上更清楚,且在平均梯度、空间频率、结构相似性和峰值信噪比等客观指标上取得了比现有方法更好的结果。     

基于红外和可见光图像融合的夜间环境图像增强

图像增强技术可以有效提高图像的整体或局部特性增加图像有用信息,改善图像的视觉效果.夜间图像增强是图像处理领域中的关键技术,使用图像增强可以提高夜间环境图像的信息量.对于单一传感器采集的夜间可见光图像,传统算法通过提高图像的饱和度和对比度进行图像增强,处理后的夜间图像易出现边缘锐化或图像伪影的现象.相比于单一传感器的夜间图像增强,红外和可见光图像融合技术可以大幅度的提高图像信息有效率.利用红外和可见光图像的成像特点将两者进行融合,有效地提高夜间复杂环境下图像的信息量,从而达到夜间图像增强的效果.实验证明使用红外和可见光图像融合的夜间环境图像增强方法优于传统算法,有效抑制边缘锐化、图像伪影和图像过度增强的问题,同时提高了夜间环境下图像的主客观质量.     

一种基于总变分与显著性检测的红外与可见光图像融合方法

红外与可见光图像融合是多源信息融合中的一个重要研究内容,它在军事侦察等方面有着广泛的应用.本文基于总变分模型和显著性检测方法,提出了一种有效的融合方法.首先,通过对红外与可见光图像的特征分布考察,构建了一个信息融合的总变分模型.其次,基于亮度对比度的显著性检测,给出了总变分模型中保真项权值的估计方法.实验仿真表明,无论是视觉观察还是客观评价,本文的方法均比一些现有方法体现了更好的结果.     

基于像素值选择的红外与可见光图像融合方法

在夜视系统中,红外图像可以提供可将光图像没有的信息,但是红外图像又缺少许多可视化的重要特征.图像融合技术能够融合具有相关信息的红外图像和可将光图像.本文中提出了一种基于小波变换的图像融合技术,并且运用此技术做了相关的图像融合试验.     

基于多分类器融合的高光谱图像分类研究

针对由于高光谱图像存在数据量大、数据相关性强、图谱合一等特点导致高光谱图像分类难度较大的问题,构建一种基于多分类器融合的高光谱图像分类模型.该模型首先使用双边滤波算法进行去噪处理,然后使用LDA算法与PCA算法相结合、单独PCA算法、Gabor滤波与PCA算法相结合三种方式分别对数据进行降维与特征提取,并分别使用SVM...     

基于目标提取的红外与可见光图像融合新算法

针对灰色系统理论在空间域对红外与可见光图像融合的不足,以及非下采样Contourlet变换（ NSCT）在图像融合领域的优势,提出了一种基于目标提取的红外与可见光图像融合新算法。首先,对红外和可见光图像分别进行NSCT变换;其次,对红外低频分量应用灰色系统理论进行目标提取,并利用所提融合规则对低频分量进行融合,同时对高频分量采用常用融合规则进行融合;最后,对融合后高、低频分量进行NSCT逆变换,得到融合图像。通过与4种常用方法进行实验对比,结果表明,文中算法得到的融合图像视觉效果较好,某些客观评价指标提升明显。     

基于广义邻域结构相似度的红外和彩色可见光图像融合

针对 HIS 空间各通道间不具有正交性,导致基于该颜色空间的图像融合中颜色畸变较明显,而 lαβ彩色空间具有感知去相关性,结合非下采样 Contourlet 变换系数在不同尺度、方向和位置间具有很强的依赖性,提出一种基于广义邻域结构相似度的红外和彩色可见光图像融合法,首先将彩色可见光图像转换到 lαβ空间,利用非彩色通道对红外图像重映射;然后 NSCT 分解非彩色通道和重映射图像,对低频系数采用不同融合规则比较,高频子带采用综合同尺度中邻域系数能量和兄弟子带间的结构相似度的融合规则,重构 NSCT 融合系     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

深度模型集成的不良图像分类

移动通信技术的飞速发展在提升用户通信体验的同时也为不良信息的散布提供了便利,针对如何在大量数据中进行不良内容的识别与过滤问题,提出一种基于深度模型集成的不良图像分类模型(EDM),通过集成多个结构不同、信息互补的深度模型来最优地区分分布差异较大的不良图像.为了验证本方法的有效性,建立一个真实移动通信场景下的不良图像数据集,并在此数据集上与基于传统支持向量机(SVM)的不良图像分类模型、基于深度卷积神经网络的Alexnet、VGG与Googlenet分类模型做对比.实验结果表明:本文所提深度模型集成方法在不良图像分类性能上明显优于其他模型,分类精度、精确率和召回率分别达到94%、84%和98%.     

基于XLNet的双通道特征融合文本分类模型

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明：XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F₁指标上均优于其他模型。     

基于基因结构树模型的红外图像分割研究

针对红外图像分割的特点,采用基因结构树模型。首先通过由根节点至节点顺序累加获取属性为结构树模型的生长代价;接着判决规则为结构树分支节点距离计算,借助分支节点之间的夹角表示,夹角越小,则分支节点距离越小;最后从基因树中选择其中似然值最大的作为最优树,给出了算法流程。实验仿真结果显示算法对红外图像分割很好地保留目标区域,有较为简洁平滑的边缘,分割质量评价的定量结果优。