图像分割与平稳小波变换法融合红外与可见光图像

为改善红外与可见光图像融合后的视觉效果,提出一种基于图像分割和平稳小波变换的图像融合方法。首先,结合最大类间方差方法与边缘检测方法,将红外图像分割为背景部分和目标部分;然后利用平稳小波变换对红外图像的背景部分与可见光图像分别进行多尺度分解,低频部分采用区域空间频率取大融合准则,高频部分采用绝对值取大融合准则,对多尺度分解后的各层进行融合,再利用平稳小波逆变换得到融合结果;最后,对该融合结果与红外图像的目标部分采用加权求和的融合准则进行融合,得到最终的红外与可见光融合图像。实验结果表明,通过提出的方法进行红外与可见光图像融合,不仅很好地突出红外图像的目标信息,还较好地体现可见光图像的场景细节信息,视觉效果明显改善;其标准差、信息熵、互信息均优于拉普拉斯金字塔变换和小波变换等传统的融合算法。实验结果验证了方法的有效性。     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

融合显示红外在线监测系统的研究

图像融合是信息融合领域的一个热点．图像融合的目的是把来自多传感器数据的互补信息合并，形成一幅新的图像，以便更好地增强监视和侦察之类的视觉感知．红外在线监测以远距离、非接触、实时、快速等方式获取设备的运行状态信息，进而及时地排除故障．本文提出了基于融合显示的红外在线监测系统组成方案，描述了图像融合的基本概念、层次以及应用价值；其次，通过分析红外图像与可见光图像融合的特点，并据此给出本实验融合方法的选择原则；最后，讨论了基于小波变换实现图像融合的原理并给出红外热像和可见光图像的融合效果；通过模拟实验，证明了图像融合技术在热故障的准确定位上有很高的实用价值。     

基于目标检测的红外和可见光动态图像融合

提出一种基于运动目标检测的红外和可见光动态图像融合方法,通过对红外序列图像中的运动目标进行检测,将运动目标信息融合到可见光序列图像中。试验结果表明,文中算法所得到的融合图像能够综合利用红外图像较好的目标指示特性与可见光图像较清晰的场景信息,有利于安全监视人员进行目标识别和情景感知。     

一种基于总变分与显著性检测的红外与可见光图像融合方法

红外与可见光图像融合是多源信息融合中的一个重要研究内容,它在军事侦察等方面有着广泛的应用.本文基于总变分模型和显著性检测方法,提出了一种有效的融合方法.首先,通过对红外与可见光图像的特征分布考察,构建了一个信息融合的总变分模型.其次,基于亮度对比度的显著性检测,给出了总变分模型中保真项权值的估计方法.实验仿真表明,无论是视觉观察还是客观评价,本文的方法均比一些现有方法体现了更好的结果.     

基于无字典模型的红外与可见光图像融合分类

针对传统图像分类识别方法采用单一传感器获得图像存在的局限和不足,提出了一种基于红外和可见光融合的分类算法。首先分别对红外图像和可见光图像提取密集型尺度不变特征变换（D-SIFT）,然后采用无字典模型（CLM）变换,并利用空间金字塔匹配（SPM）进行精细划分,最后用混合核支持向量机（SVM-CK）方式将红外和可见光在特征级融合并分类。在VAIS和RGB-NIR两个数据库上对该方法进行验证,融合后分类精度分别比单一图像源均有较大提高;与BoVW方法比较,精度分别提高了4.7%和12.1%。证明多数据源融合的方法综合了红外和可见光各自成像的优势,使获得的特征信息更完善,分类效果显著高于单一数据源的分类结果。     

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

基于CBAM-DDcGAN的锌渣红外与可见光图像融合

对热镀锌生产线锌池中的锌渣分布进行准确识别是捞渣作业智能化的前提。红外图像易损失锌渣的纹理特征,可见光图像又容易受到光照等因素的影响,红外与可见光图像的融合是提高锌渣识别精度的有效手段。本文提出一种结合卷积注意力机制模块(CBAM)和双判别器生成对抗网络(DDcGAN)的红外与可见光图像融合算法。首先,生成器内部采用编解码网络,编码器采用密集连接方式,与CBAM相结合,在最大程度地保留图像特征的同时还能突出关键特征,抑制无用信息,提升融合效果。其次,利用两个判别器与生成器分别进行对抗训练,可同时保留两种源图像的信息。采用锌渣图像数据集进行对比实验,结果表明,本文算法所得融合图像在主观视觉效果和客观定量指标上均有不同程度的改善。     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

一种红外偏振与光强图像的暗原色多特征分离融合方法

针对现有红外偏振和光强图像融合算法不能同时兼顾提高对比度、突出明亮特征和保持边缘细节信息的问题,提出一种暗原色多特征分离融合的新方法。首先,对源图像进行局部最小值滤波和引导滤波得到暗原色图;然后,经过差值、绝对值取小融合的处理,提出暗原色多特征分离方法,得到包含亮、暗以及边缘细节信息的三部分图像;最后,对三部分图像采用不同规则分别融合,通过重构和亮度调整得到最终融合图像。实验结果表明,本文方法能有效地融合源图像的互补信息,不仅能够保留边缘细节信息,同时也能突出明亮特征和图像整体对比度,在实际的目标识别中具有一定的优势。     

深度玻尔兹曼机在图像融合中的应用

针对可见光与红外图像融合时出现的特征信息提取不足等问题,提出了一种基于非下采样剪切波变换(NSST)与深度玻尔兹曼机(DBM)的可见光与红外图像融合方法。首先,利用DBM实现红外图像的最优能量分割以提取其中的显著红外目标;其次,将分割得到的显著目标区域与背景区域分别投影至源图像,获得相关映射图;最后,使用NSST分别对可见光图像与红外投影图像进行多尺度、多方向稀疏分解,对源图像的一系列子图像进行融合,并采取NSST反变换重构获得最终融合图像。仿真实验结果表明:与现有的3种经典方法相比,本文方法在信息熵方面高于轮廓波变换法约4.1%,在平均梯度方面高于NSST法约1.0%,在互信息方面高于NSCT法约3.8%。获得的融合图像具有较高的对比度和丰富的细节信息。     

基于仿生视觉机制的红外与可见光图像融合

为实现红外图像与可见光图像的融合,设计了以响尾蛇的视觉成像机制为基础的红外图像与可见光图像融合神经网络结构.首先根据双模式细胞的6种响应模式,得到红外和可见光图像的6种响应结果,然后以视觉感受野数学模型为基础,将6种双模式细胞响应输入到由ON对抗系统和OFF对抗系统组成的双层网络结构中,最后输出R、G和B 3个通道的映射值及伪彩色图像增强结果.分别对4组经过配准的红外和可见光图像进行融合,将该方法融合结果与经典的Waxman方法融合结果进行了对比,实验结果表明,所设计的网络结构得到的融合图像效果较好,信息熵和平均梯度均优于经典的Waxman方法融合结果.     

基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法

研究了一种基于泊松重构的红外和可见光图像融合算法,算法在梯度域内实现图像信息的融合,可有效避免传统空域和变换域方法在融合图像中由于局部亮度不一致而产生伪边缘。另外,提出的算法在源图像梯度融合时,同时考虑了图像的局部结构显著和视觉显著特征,能够在保留源图像更多细节的同时突出输入图像的视觉显著目标信息。通过与其他最新融合算法的对比实验结果显示本文算法获得的融合图像既有突出的红外目标,又有清晰的可见光背景细节,并且不会产生伪影和噪声,同时客观评价指标也有显著的优势。     

基于局部能量的多层级红外与可见光图像融合算法

针对传统的融合方法对于可见光图像丰富的背景信息不能有效地保留到融合图像的问题,本文结合像素级和特征级融合的优势,提出了一种新的图像融合算法.首先,对来自同一场景配准后的红外与可见光图像进行NSCT变换;其次,在保留红外图像中目标信息的基础上,出于尽可能比较完善地将可见光的背景信息融入到融合图像的目的,对于低频图像采用基于区域能量比的自适应加权平均的方法;再次,考虑到低频图像和高频方向子带中包含大量的边缘细节信息,本文在Petrovi'c多层级融合方法的基础上进行相应的改进,利用低频子带边缘特征的融合以指导高频方向子带系数的融合;最后,通过NSCT逆变换得到融合图像.对多组红外与可见光图像进行实验,并对融合图像进行主客观评价,实验结果表明,该算法得到的融合图像具有非常好的主观视觉效果和客观量化指标,融合性能显著地优于传统的融合方法.     

基于目标提取和小波变换IHS图像融合算法

针对传统的IHS(Intensity-Hue-Saturation,强度-色调-饱和度)融合算法会使部分光谱信息丢失,提出一种基于目标提取和双正交小波变换的IHS图像融合算法,主要应用于红外图像与可见光图像的融合.算法首先采用基于区域能量的算法在红外图像进行目标提取,将目标图像与可见光图像进行IHS融合.对融合后的图像进行小波变换,变换得到的高频分量与低频分量分别提出适合的改进融合规则.通过实验数据分析,该算法得到的图像包含的信息更多,图像的清晰度更高.     

OPTFR多小波在红外／可见光图像融合中的应用研究

针对OPTFR(Optimum Time-Frequency Resolution,最优时频分辨)多小波,设计了一种平衡滤波器,将其应用于红外和可见光图像融合.对红外图像和可见光图像分别进行三层OPTFR多小波变换,提取两幅图像的低频分量和不同尺度的高频分量.由于图像的大部分能量集中在低频分量上,而不同尺度上的高频分量反映了图像在不同尺度上的细节信息,所以在对源图像融合时,对低频分量和高频分量分别采用能量和方差的加权平均进行融合,对这些融合后的分量进行重构,得到融合图像.仿真结果表明:和以往的融合算法相比,该算法强化了源图像的细节信息,提高了融合效果.     

基于LoFTR算法的图像拼接算法研究与实现

针对传统算法图像匹配准方法提取特征点不精确、鲁棒性低、低纹理下很难识别到特征点等问题。本文提出一种新的局部图像特征匹配方法,替代传统的顺序执行图像特征检测,描述和匹配的步骤。首先在原图像提取分辨率为1/8的粗略特征,然后平铺为一维向量,并为其添加位置编码,将组合结果输入到Transformers模块中的自注意力层和交叉注意力层,最后输入可微分匹配层后得到置信矩阵,为该矩阵设置阈值和相互最近标准,从而得到粗略的匹配预测。其次是在精细层次上细化良好的匹配,在建立精匹配之后,通过变换矩阵到统一的坐标下,实现图像重叠区域对齐,最后通过加权平局融合算法对图像进行融合,实现对图像的无缝拼接。本文使用Transformers中的自注意力层和交叉注意力层来获取图像的特征描述符。实验结果表明,在特征点提取方面,LoFTR算法比传统的SIFT算法,无论在低纹理区域还是纹理比较丰富的区域提取的都更精确,同时使用此方法得到的拼接效果比传统经典算法拼接的效果更好。