基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

图像分割与平稳小波变换法融合红外与可见光图像

为改善红外与可见光图像融合后的视觉效果,提出一种基于图像分割和平稳小波变换的图像融合方法。首先,结合最大类间方差方法与边缘检测方法,将红外图像分割为背景部分和目标部分;然后利用平稳小波变换对红外图像的背景部分与可见光图像分别进行多尺度分解,低频部分采用区域空间频率取大融合准则,高频部分采用绝对值取大融合准则,对多尺度分解后的各层进行融合,再利用平稳小波逆变换得到融合结果;最后,对该融合结果与红外图像的目标部分采用加权求和的融合准则进行融合,得到最终的红外与可见光融合图像。实验结果表明,通过提出的方法进行红外与可见光图像融合,不仅很好地突出红外图像的目标信息,还较好地体现可见光图像的场景细节信息,视觉效果明显改善;其标准差、信息熵、互信息均优于拉普拉斯金字塔变换和小波变换等传统的融合算法。实验结果验证了方法的有效性。     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

基于残差网络的红外与可见光图像融合方法

图像融合利用了红外与可见光图像在时空上的相关性及信息上的互补性，让图像更有利于人眼的识别和机器的自动探测。现有的方法许多都存在伪影或目标信息模糊的情况，针对这些问题本文提出了一种带有残差块的编码器融合框架以提取红外与可见光图像中的深层特征；为了更好地融合红外光图像的目标信息和可见光图像所包含的细节信息，在特征融合阶段加入注意力机制得到注意力图对深层特征进行融合；最后通过跳跃连接将第一二层得到的特征图，即浅层特征传递到相应的反卷积层进行处理，得到融合图像。实验结果表明，本文方法的融合结果在主观感觉上更清楚，且在平均梯度、空间频率、结构相似性和峰值信噪比等客观指标上取得了比现有方法更好的结果。     

OPTFR多小波在红外／可见光图像融合中的应用研究

针对OPTFR(Optimum Time-Frequency Resolution,最优时频分辨)多小波,设计了一种平衡滤波器,将其应用于红外和可见光图像融合.对红外图像和可见光图像分别进行三层OPTFR多小波变换,提取两幅图像的低频分量和不同尺度的高频分量.由于图像的大部分能量集中在低频分量上,而不同尺度上的高频分量反映了图像在不同尺度上的细节信息,所以在对源图像融合时,对低频分量和高频分量分别采用能量和方差的加权平均进行融合,对这些融合后的分量进行重构,得到融合图像.仿真结果表明:和以往的融合算法相比,该算法强化了源图像的细节信息,提高了融合效果.     

基于目标检测的红外和可见光动态图像融合

提出一种基于运动目标检测的红外和可见光动态图像融合方法,通过对红外序列图像中的运动目标进行检测,将运动目标信息融合到可见光序列图像中。试验结果表明,文中算法所得到的融合图像能够综合利用红外图像较好的目标指示特性与可见光图像较清晰的场景信息,有利于安全监视人员进行目标识别和情景感知。     

深度玻尔兹曼机在图像融合中的应用

针对可见光与红外图像融合时出现的特征信息提取不足等问题,提出了一种基于非下采样剪切波变换(NSST)与深度玻尔兹曼机(DBM)的可见光与红外图像融合方法。首先,利用DBM实现红外图像的最优能量分割以提取其中的显著红外目标;其次,将分割得到的显著目标区域与背景区域分别投影至源图像,获得相关映射图;最后,使用NSST分别对可见光图像与红外投影图像进行多尺度、多方向稀疏分解,对源图像的一系列子图像进行融合,并采取NSST反变换重构获得最终融合图像。仿真实验结果表明:与现有的3种经典方法相比,本文方法在信息熵方面高于轮廓波变换法约4.1%,在平均梯度方面高于NSST法约1.0%,在互信息方面高于NSCT法约3.8%。获得的融合图像具有较高的对比度和丰富的细节信息。     

一种基于RCRF+BCH算法的NAND FLASH纠错方案的FPGA设计与实现

针对可见光图像和红外图像的融合目标检测问题,提出了一种基于决策级融合的目标检测算法。通过建立带标注的数据集对YOLOv3网络进行重新训练,并在融合之前,利用训练好的YOLOv3网络对可见光图像和红外图像分别进行检测。在融合过程中,提出了一种新颖的检测融合算法,首先,保留只在可见光图像或只在红外图像中检测到的目标的准确结果;然后,对在可见光图像和红外图像中同时检测到的同一目标的准确结果进行加权融合;最后,将所得的检测结果进行合并,作为融合图像中所有对应目标的检测结果,进而实现基于决策级融合的快速目标检测。实验结果表明：各项指标在建立的数据集上均有较好的表现。所提算法的检测精度达到了84.07%,与单独检测可见光图像和红外图像的算法相比,检测精度分别提升了2.44%和21.89%,可以检测到更多的目标并且减少了误检目标的情况;与3种基于特征级图像融合的检测算法相比,算法的检测精度分别提升了4.5%,1.74%和3.42%。     

基于AdaBoost置信图的红外与可见光目标跟踪

针对于复杂场景下,跟踪的目标容易产生漂移甚至跟踪失败的情况,本文提出了一种基于AdaBoost置信图的红外与可见光目标跟踪算法。首先,以颜色和纹理特征为描述子对红外与可见光图像的目标样本与背景样本进行表征和AdaBoost分类,并基于分类度计算得到红外与可见光图像的置信图;然后,在置信图中分别计算它们的目标候选者与其模板置信图之间的相似度,并将两相似度进行加权融合,构建联合目标函数;最后,对目标函数进行泰勒展开和求导等操作,推导出联合位移公式,并运用均值漂移算法完成目标搜索。对多组红外与可见光图像序列对测试结果表明,本文提出的算法在处理光照变化、目标交汇、目标遮挡等方面都表现良好。     

基于无字典模型的红外与可见光图像融合分类

针对传统图像分类识别方法采用单一传感器获得图像存在的局限和不足,提出了一种基于红外和可见光融合的分类算法。首先分别对红外图像和可见光图像提取密集型尺度不变特征变换（D-SIFT）,然后采用无字典模型（CLM）变换,并利用空间金字塔匹配（SPM）进行精细划分,最后用混合核支持向量机（SVM-CK）方式将红外和可见光在特征级融合并分类。在VAIS和RGB-NIR两个数据库上对该方法进行验证,融合后分类精度分别比单一图像源均有较大提高;与BoVW方法比较,精度分别提高了4.7%和12.1%。证明多数据源融合的方法综合了红外和可见光各自成像的优势,使获得的特征信息更完善,分类效果显著高于单一数据源的分类结果。     

基于CBAM-DDcGAN的锌渣红外与可见光图像融合

对热镀锌生产线锌池中的锌渣分布进行准确识别是捞渣作业智能化的前提。红外图像易损失锌渣的纹理特征,可见光图像又容易受到光照等因素的影响,红外与可见光图像的融合是提高锌渣识别精度的有效手段。本文提出一种结合卷积注意力机制模块(CBAM)和双判别器生成对抗网络(DDcGAN)的红外与可见光图像融合算法。首先,生成器内部采用编解码网络,编码器采用密集连接方式,与CBAM相结合,在最大程度地保留图像特征的同时还能突出关键特征,抑制无用信息,提升融合效果。其次,利用两个判别器与生成器分别进行对抗训练,可同时保留两种源图像的信息。采用锌渣图像数据集进行对比实验,结果表明,本文算法所得融合图像在主观视觉效果和客观定量指标上均有不同程度的改善。     

基于局部能量的多层级红外与可见光图像融合算法

针对传统的融合方法对于可见光图像丰富的背景信息不能有效地保留到融合图像的问题,本文结合像素级和特征级融合的优势,提出了一种新的图像融合算法.首先,对来自同一场景配准后的红外与可见光图像进行NSCT变换;其次,在保留红外图像中目标信息的基础上,出于尽可能比较完善地将可见光的背景信息融入到融合图像的目的,对于低频图像采用基于区域能量比的自适应加权平均的方法;再次,考虑到低频图像和高频方向子带中包含大量的边缘细节信息,本文在Petrovi'c多层级融合方法的基础上进行相应的改进,利用低频子带边缘特征的融合以指导高频方向子带系数的融合;最后,通过NSCT逆变换得到融合图像.对多组红外与可见光图像进行实验,并对融合图像进行主客观评价,实验结果表明,该算法得到的融合图像具有非常好的主观视觉效果和客观量化指标,融合性能显著地优于传统的融合方法.     

多模序列图像目标跟踪的特征融合粒子滤波实现

针对图像制导中信息的模糊性和不确定性问题,将多源信息融合技术应用于红外／可见光双模复合成像制导。采用方差比测量的方法将特征选择问题转化为一个两类判别问题,并引入自适应特征选择机制;通过计算目标和背景间不同特征分布直方图对应的似然比,在高维特征空间中选择4个判别性较好的特征区分目标和背景,根据bahattacharyya距离建立跟踪所需的观测似然函数,在粒子滤波的框架下实现了算法对单模序列图像中目标的跟踪;引入跟踪性能品质度量因子和加权融合策略衡量多信源下对目标的跟踪性能,实现对双模序列图像中目标的稳健跟踪,解决了单一信源在特定因素下跟踪性能不理想的缺陷,提高了算法性能。仿真实验结果验证了算法的有效性。     

低秩表示和字典学习的红外与可见光图像融合算法

针对目前红外与可见光融合算法在保留可见光图像中的背景信息时无法同时有效地提取红外图像信息,提出了一种基于低秩表示和字典学习的红外与可见光的图像融合算法.首先,采用低秩表示对红外图像和可见光图像进行分解,分别获得源图像的低秩和稀疏成分,其中稀疏成分可以很好地表示源图像的边缘细节特征.其次,用OMP算法的字典学习方法和稀疏系数的最大范数规则,而最大范数规则在对图像背景恢复的同时能够提取目标信息.再次,对分解得到的2个分量进行融合.最后,利用融合稀疏系数和自适应字典重建融合图像.实验结果表明,本融合算法可以突出红外对象信息,同时能够保留可见光图像中的背景信息,达到良好的视觉效果.     

基于目标提取和小波变换IHS图像融合算法

针对传统的IHS(Intensity-Hue-Saturation,强度-色调-饱和度)融合算法会使部分光谱信息丢失,提出一种基于目标提取和双正交小波变换的IHS图像融合算法,主要应用于红外图像与可见光图像的融合.算法首先采用基于区域能量的算法在红外图像进行目标提取,将目标图像与可见光图像进行IHS融合.对融合后的图像进行小波变换,变换得到的高频分量与低频分量分别提出适合的改进融合规则.通过实验数据分析,该算法得到的图像包含的信息更多,图像的清晰度更高.     

基于俯视角融合的多模态三维目标检测

三维目标检测中图像数据难以获得目标距离信息,点云数据难以获得目标类别信息,为此提出一种将图像转为俯视角特征的方法,将多尺度图像特征按水平维度展平,通过稠密变换层转变为多尺度图像俯视角特征,最终重塑为全局图像俯视角特征.在此基础上,提出一种基于俯视角融合的多模态三维目标检测网络,利用特征拼接或元素相加的方法融合图像俯视角特征与点云俯视角特征.在KITTI数据集上的实验表明,提出的基于俯视角融合的多模态三维目标检测网络对于车辆、行人目标的检测效果优于其他流行的三维目标检测方法 .     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

非采样轮廓波变换下的红外与可见光图像融合

针对红外与可见光图像融合存在的边缘模糊、视觉效果不佳的问题,提出了一种改进的基于非下采样轮廓波变换(NSCT)的红外和可见光图像融合方法。首先采用NSCT对红外与可见光图像进行多尺度、多方向分解,然后对低频系数采用基于边缘的方法进行融合;对高频系数采用基于区域能量的方法进行融合。最后,通过NSCT反变换来获取融合图像。实验结果表明:文中改进算法得到的融合图像不仅边缘等细节部分更加清晰,而且在视觉效果上更加符合人眼视觉特性。     

采用类内迁移学习的红外/可见光异源图像匹配

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征。将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐。匹配度量子网络使用2个全连接层和1个softmax层进行串联,评估出异源图像特征的匹配度。构建了红外和可见光图像数据集,进行端到端的训练和测试。结果表明:与当前使用预训练模型微调的方法相比,PairsNet的准确率提升了10.54%,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络。